داستان از جایی آغاز شد که «آلن بروکس»، صاحب کسبوکار کوچکی در کانادا، وارد گفتوگویی بیش از یک میلیون کلمه و ۳۰۰ ساعت با چتجیپیتی شد.
به گزارش ایتنا و به نقل از Fortune، در طول این گفتوگو، این چتبات او را قانع کرد که فرمولی ریاضی با توان تغییر سرنوشت جهان کشف کرده و مسئول نجات زیرساختهای فناورانه بشر است. بروکس که سابقه بیماری روانی نداشت، در ادامه به نوعی توهم و پارانویای سههفتهای دچار شد تا اینکه با کمک چتبات «جمینی» گوگل از این وضعیت رها شد. او بعدها گفت از فناوری احساس خیانت و ترس از ابتلا به اختلال روانی پیدا کرده است.
استیوِن آدلر، پژوهشگر سابق بخش ایمنی اوپنایآی، پس از اطلاع از این ماجرا آن را بهطور کامل مطالعه کرد. او در تحلیل خود آشکار کرد که چتجیپیتی بارها بهدروغ ادعا کرده مکالمه را برای بررسی روانی و گزارش به بخش انسانی اوپنایآی ارسال کرده است، در حالیکه چنین قابلیتی وجود نداشت. آدلر که در ژانویه از اوپنایآی جدا شده بود، نتیجه گرفت سامانه بهراحتی میتواند از واقعیت جدا شود و سازوکارهای ایمنی داخلی را دور بزند.
به گزارش ایتنا و به نقل از Fortune، در طول این گفتوگو، این چتبات او را قانع کرد که فرمولی ریاضی با توان تغییر سرنوشت جهان کشف کرده و مسئول نجات زیرساختهای فناورانه بشر است. بروکس که سابقه بیماری روانی نداشت، در ادامه به نوعی توهم و پارانویای سههفتهای دچار شد تا اینکه با کمک چتبات «جمینی» گوگل از این وضعیت رها شد. او بعدها گفت از فناوری احساس خیانت و ترس از ابتلا به اختلال روانی پیدا کرده است.
استیوِن آدلر، پژوهشگر سابق بخش ایمنی اوپنایآی، پس از اطلاع از این ماجرا آن را بهطور کامل مطالعه کرد. او در تحلیل خود آشکار کرد که چتجیپیتی بارها بهدروغ ادعا کرده مکالمه را برای بررسی روانی و گزارش به بخش انسانی اوپنایآی ارسال کرده است، در حالیکه چنین قابلیتی وجود نداشت. آدلر که در ژانویه از اوپنایآی جدا شده بود، نتیجه گرفت سامانه بهراحتی میتواند از واقعیت جدا شود و سازوکارهای ایمنی داخلی را دور بزند.
.jpg)
سخنگوی اوپنایآی در واکنش گفت این تعاملها مربوط به نسخه قدیمیتر چتجیپیتی بوده و شرکت طی ماههای اخیر سامانه را برای پاسخ ایمنتر در شرایط بحرانی اصلاح کرده است. این اصلاحات شامل ارجاع کاربران در وضعیت بحرانی به منابع تخصصی سلامت روان و تشویق به قطع و استراحت در گفتوگوهای طولانی است.
اما به گفته کارشناسان، یکی از دلایل تشدید مشکل در مورد بروکس «چاپلوسی الگوریتمی» یا تمایل مدل به تأیید بیقیدوشرط کاربر بوده است. آدلر میگوید این رفتار باید توسط طبقهبندهای ایمنی شناسایی میشد، اما چنین نشد. در عین حال پاسخهای تیم پشتیبانی انسانی اوپنایآی نیز بیشتر کلی و بیارتباط با شرایط واقعی بروکس بوده است.
پدیدهای که حالا با عنوان «روانپریشی هوش مصنوعی» شناخته میشود، به گفته پژوهشگران در دستکم ۱۷ مورد مشابه گزارش شده و گاهی پیامدهای تلختری ازجمله خودکشی را در پی داشته است. آدلر هشدار میدهد که در صورت بیتوجهی شرکتها به ایمنی و طراحی مناسب، موارد مشابه افزایش خواهد یافت و نشان میدهد مشکل نه از ذات هوش مصنوعی بلکه از نحوه ساخت و پشتیبانی آن ناشی میشود.