یک مطالعه در دانشگاه براون نشان میدهد چتباتهای هوش مصنوعی که با عنوان ابزارهای حمایت از سلامت روان عرضه میشوند، حتی زمانی که دستور دارند از روشهای درمانی مبتنی بر شواهد استفاده کنند، اغلب اصول بنیادین اخلاق حرفهای را نقض میکنند.
این چتباتها معمولاً هنجارهای اخلاقی سلامت روان را زیر پا میگذارند و این موضوع درخواست برای نظارت شدیدتر را پررنگتر کرده است.
با افزایش تعداد افرادی که برای حمایت روانی به ChatGPT و دیگر مدلهای زبانی بزرگ (LLM ها) مراجعه میکنند، تحقیقات تازهای نشان میدهد این سیستمها حتی زمانی که به آنها دستور داده میشود از روشهای درمانی معتبر استفاده کنند در بسیاری موارد از استانداردهای اخلاقی سازمانهایی مانند انجمن روانشناسی آمریکا تخطی میکنند.
این مطالعه که توسط دانشمندان رایانه در دانشگاه براون و با همکاری متخصصان سلامت روان انجام شده، نشان میدهد چتباتهای مبتنی بر LLM میتوانند مرتکب انواع مختلف تخلف اخلاقی شوند. این موارد شامل بد مدیریت کردن موقعیتهای بحرانی، ارائه بازخوردهای گمراهکننده که باورهای منفی و آسیبزننده افراد را تقویت میکند، و ایجاد توهم همدلی بدون داشتن درک واقعی است.
پژوهشگران در مقاله نوشتند: «در این پژوهش، ما یک چارچوب مبتنی بر نظر درمانگران و متخصصان ارائه میدهیم که شامل ۱۵ نوع خطر اخلاقی است. این چارچوب نشان میدهد که چگونه مشاوران مبتنی بر مدلهای زبانی، با رفتارشان، استانداردهای اخلاقی در حوزه سلامت روان را زیر پا میگذارند. ما از پژوهشهای آینده میخواهیم استانداردهای اخلاقی، آموزشی و قانونی برای مشاوران مبتنی بر LLM ایجاد کنند استانداردهایی که بازتابدهنده کیفیت و سختگیری لازم در رواندرمانی انسانی باشند.»
چگونه نوع «پرامپت» رفتار چتبات را شکل میدهد؟
زینب افتخار، دانشجوی دکتری علوم کامپیوتر در براون و نویسنده اصلی مطالعه، بررسی کرده که طراحی پرامپت چگونه پاسخهای چتباتها را در زمینه سلامت روان تغییر میدهد. هدف او این بود که ببیند آیا برخی شیوههای نوشتن پرامپت میتوانند خروجی مدل را به استانداردهای اخلاقی نزدیکتر کنند یا خیر.
او میگوید: «پرامپتها دستوراتی هستند که به مدل داده میشوند تا رفتار آن را برای انجام یک وظیفه مشخص هدایت کنند. شما مدل را تغییر نمیدهید یا داده جدید نمیدهید، اما پرامپت کمک میکند خروجی مدل براساس دانستهها و الگوهای یادگیری قبلی جهتدهی شود. مثلاً ممکن است کاربر به مدل بگوید، مثل یک درمانگر شناختدرمانی (CBT) عمل کن و به من کمک کن افکارم را بازسازی کنم یا از اصول رفتاردرمانی دیالکتیکی (DBT) برای کمک به تنظیم هیجاناتم استفاده کن. این مدلها واقعاً این تکنیکها را مثل درمانگران انسانی اجرا نمیکنند، اما براساس الگوهایی که آموختهاند، پاسخهایی تولید میکنند که با مفاهیم CBT یا DBT همخوان است.»
بهگفته افتخار، استفاده از چنین پرامپتهایی میان کاربران بسیار رایج شده است چه در شبکههایی مانند تیکتاک و اینستاگرام، و چه در بحثهای طولانی در ردیت. علاوه بر کاربران، بسیاری از چتباتهای سلامت روان موجود در بازار نیز نسخههای تغییر یافته مدلهای عمومی هستند که به کمک همین پرامپتها تنظیم شدهاند؛ بنابراین فهم اینکه این پرامپتها چگونه رفتار مدل را تغییر میدهند، ضروری است.
مشاهده اخلاق چتباتها در عمل
در این پژوهش، افتخار و همکارانش گروهی از «مشاوران همتا» را که در یک پلتفرم آنلاین حمایت روانی فعالیت میکردند، زیر نظر گرفتند. آنها ابتدا هفت مشاور آموزشدیده در تکنیکهای CBT را هنگام گفتوگوی خود با چتباتهای مجهز به پرامپتهای CBT شامل نسخههای مختلف GPT، کلود آنتروپیک و لاما مشاهده کردند.
در مرحله بعد، بخشی از این چتها که براساس جلسات مشاوره واقعی شبیهسازی شده بود، توسط سه روانشناس بالینی دارای مجوز بررسی شد تا تخلفات اخلاقی احتمالی مشخص شود.
نتیجه، شناسایی ۱۵ خطر اخلاقی در پنج دسته اصلی بود.
فقدان درک زمینهای: نادیده گرفتن شرایط فرد و ارائه توصیههای کلی و نامتناسب با واقعیت زندگی او.
همکاری درمانی ضعیف: کنترلکردن مکالمه و حتی تأیید باورهای اشتباه یا آسیبزننده کاربر.
بیانهای کاذب همدلی: استفاده از عباراتی مانند «تو را میفهمم» یا «حست را درک میکنم» بدون داشتن فهم واقعی. سوگیری و رفتار ناعادلانه:بروز تعصبات درباره جنسیت، فرهنگ یا مذهب.
پاسخ ناکافی در بحرانها: اجتناب از حمایت در مسائل حساس، ناتوانی در ارجاع کاربر به کمک حرفهای، یا واکنش سرد در موقعیتهایی مثل افکار خودکشی.
افتخار تأکید میکند که البته درمانگران انسانی هم ممکن است خطاهای اخلاقی داشته باشند، اما تفاوت اصلی وجود سازوکارهای نظارتی و مسئولیتپذیری است.
او میگوید: «برای درمانگران انسانی، نهادهای ناظر و سیستمهایی وجود دارد که آنها را در برابر تخلفات مسئول میدانند. اما برای مشاوران مبتنی بر مدلهای زبانی، هیچ چارچوب قانونی یا نظارتی وجود ندارد.»
نوآوری مسئولانه و آینده مشاوره با هوش مصنوعی
یافتهها به این معنی نیست که هوش مصنوعی نباید در سلامت روان نقشی داشته باشد. محققان معتقدند AI میتواند به کاهش هزینهها، جبران کمبود درمانگران متخصص و رفع موانع دسترسی کمک کند.
اما این نتایج نشان میدهد که استفاده از AI در سلامت روان نیازمند پیادهسازی محتاطانه، مقررات مناسب و نظارت دقیق است.
افتخار امیدوار است این پژوهش باعث افزایش آگاهی کاربران شود: «اگر با یک چتبات درباره سلامت روان صحبت میکنید، باید این خطرات احتمالی را بشناسید.»
درخواست برای ارزیابی بهتر و تضمینهای ایمنی
الی پاولیک، استاد علوم کامپیوتر در براون، که در این پژوهش نقشی نداشت، میگوید این مطالعه نشان میدهد ارزیابی دقیق سیستمهای هوش مصنوعی در حوزه سلامت روان ضروری است. او مدیریت مؤسسه تحقیقاتی ARIA را برعهده دارد که هدفش توسعه دستیارهای هوش مصنوعی قابلاعتماد است.
پاولیک میگوید: «واقعیت امروز این است که ساخت و انتشار سیستمهای هوش مصنوعی بسیار سادهتر از ارزیابی و فهم دقیق آنهاست. این مقاله نیازمند یک سال کار و مشارکت متخصصان بالینی بود تا این خطرات را نشان دهد. بیشتر ارزیابیهای AI با معیارهای خودکار انجام میشود که ماهیتاً ایستا و بدون حضور انسان هستند.»
به گزارش (scitechdaily) او معتقد است این کار میتواند الگویی برای پژوهشهای آینده جهت ایمنسازی AI در حمایت از سلامت روان باشد: «فرصت واقعی برای استفاده از هوش مصنوعی در مقابله با بحران سلامت روان وجود دارد، اما ضروری است در هر مرحله این سیستمها را دقیق نقد و بررسی کنیم تا از آسیبهای احتمالی جلوگیری شود. این پژوهش نمونهای خوب از چگونگی انجام این کار است.»
انتهای پیام/