به گزارش خبرگزاری آنا؛ آنتروپیک در بیانیهای رسمی به رسانهها اعلام کرد: «ما در حال تغییر پروتکلهای حفاظتی Fable ۵ در بخش توسعه مدلهای زبانی بزرگ فرامرزی هستیم تا این محدودیتها برای کاربران کاملاً قابل رویت و شفاف شوند. ما موازنه اشتباهی را در اولویتبندیهای خود انتخاب کرده بودیم و به دلیل عدم ایجاد تعادل مناسب عذرخواهی میکنیم.» با اعمال این بهروزرسانی، اگر سیستمهای نظارتی شرکت تشخیص دهند کاربری در حال آموزش یک هوش مصنوعی رقیب با دادههای کلود است، به جای تضعیف پنهان کدهای خروجی، با ارسال یک پیام شفاف درخواست را رد کرده یا فرآیند را به مدل ضعیفتر کلود اوپوس ۴.۸ ارجاع میدهند.
جزئیات پروتکل خرابکاری پنهان و واکنش تند جامعه متنباز
آنتروپیک چند روز گذشته و در زمان عرضه کلود ۵ اعلام کرده بود که برای جلوگیری از خطرات سایبری و بیولوژیکی، درخواستهای حساس را به مدل اوپوس ۴.۸ ارجاع میدهد؛ اقدامی که با استقبال مواجه شد. اما بررسی اسناد ۳۱۹ صفحهای این مدل فاش کرد که شرکت یک لایه فیلتر نامرئی دیگر را نیز پیادهسازی کرده است. بر این اساس، اگر محققان از کلود ۵ برای کارهای پژوهشی یادگیری ماشین استفاده میکردند که بوی توسعه یک مدل رقیب از آن میآمد، هوش مصنوعی از طریق دستکاری پرامپتها و برداریهای پنهان، بازدهی و کیفیت کدهای خود را به شدت پایین میآورد تا کارایی پروژه رقیب را مختل کند؛ رویکردی که در بندهای خدمات این شرکت ممنوع اعلام شده است.
این موضوع موجی از خشم را در میان توسعهدهندگان به راه انداخت. دین بال، پژوهشگر ارشد بنیاد نوآوری آمریکا و مشاور سابق کاخ سفید در حوزه هوش مصنوعی، در پلتفرم اکس نوشت: «کاهش مخفیانه عملکرد مدل در تحقیقات یادگیری ماشین بدون اطلاع کاربر، رفتاری به شدت خصمانه و ظاهرمانی بسیار زشت است. این سیاست خرابکاری مخفیانه، اعتبار کلی آنتروپیک را در زمینه توسعه ایمن هوش مصنوعی زیر سوال میبرد.» همچنین ویل براون، مدیر تحقیق استارتاپ متنباز Prime Intellect، این اقدام را تلاش شرکتهای بزرگ برای «بالا کشیدن نردبان و انحصار دانش» توصیف کرد که مانع از فعالیت شرکتهای مستقل ارزیابی ایمنی هوش مصنوعی میشد.
توجیه امنیتی آنتروپیک و ریسک افزایش خطاهای مثبت کاذب
مقامات آنتروپیک در توجیه علت طراحی اولیه این سیستم مخفی مدعی شدند که تواناییهای کلود ۵ در پیشبرد و شتابدهی به تحقیقات هوش مصنوعی به شدت بالا است و بیم آن میرود که سرعت رشد این فناوری از ظرفیت انطباق ساختارهای اجتماعی فراتر رود. این شرکت تاکید کرد که فیلترهای پنهان به دلیل سخت بودن مهندسی معکوس، پایداری بیشتری در برابر حملات دارند و به شرکت اجازه میدادند تا اهداف مخرب را با دقت بالاتری سد کند، بدون اینکه مزاحمتی برای ۹۹.۹ درصد کاربران عادی و برنامهنویسان شبکه ایجاد شود.
با این حال، این شرکت تایید کرده است که به دلیل شفاف و قابل رویت شدن این لایه حفاظتی از این پس ناچار است چتر نظارتی خود را گستردهتر کند. این تغییر ساختار به این معنی است که احتمال دارد پرامپتها و درخواستهای کاملاً بیضررِ مهندسان نرمافزار و محققان دانشگاهی نیز به اشتباه به عنوان رفتارهای جاسوسی یا رقابتی شناسایی شده و سیستم را دچار خطای مثبت کاذب کند. تیم مهندسی آنتروپیک اعلام کرده است که در حال حاضر تمام تمرکز خود را روی افزایش دقت طبقهبندیکنندههای هوش مصنوعی خود معطوف کرده تا میزان این تداخلهای کاذب را در هفتههای آینده به حداقل برساند.
انتهای پیام/