احتمالاً برای شما هم پیش آمده است که از  هوش مصنوعی سؤالی پرسیده و پاسخی دریافت کنید که آن‌قدر دقیق، منظم و مطمئن به نظر برسد که هیچ دلیلی برای تردید باقی نگذارد؛ اما بعد از کمی بررسی متوجه شوید بخشی از آن واقعیت ندارد. عجیب‌تر اینکه گاهی هوش مصنوعی حتی برای یک کتاب، مقاله، پژوهش یا نقل‌قول، منبعی ارائه می‌کند که اساساً وجود خارجی ندارد. اما سوال این است که چرا ماشینی که در بسیاری از موارد پاسخ‌هایی شگفت‌انگیز ارائه می‌کند، گاهی با اطمینان اطلاعات جعلی می‌سازد؟

به گزارش سیناپرس، یکی از مهمترین موضوعاتی که کاربران در حین استفاده از هوش مصنوعی با آن مواجه می شوند، ارائه اطلاعات نادرست و حتی جعل مطالب و ساخت لینک غیر واقعی و نقل و قول ها و ارجاعات جعلی است. این موضوع سبب شده بسیاری از دانشجویان که قصد داشتند به کمک هوش مصنوعی وظایف خود را انجام دهند به تله افتاده و دچار مشکل شوند. این پدیده با عنوان توهم هوش مصنوعی شناخته می‌شود؛ اصطلاحی که البته نباید آن را با توهم انسانی اشتباه گرفت. منظور از این نوع خاص توهم، تولید گزاره‌هایی است که از نظر زبانی و ظاهری کاملاً طبیعی و قابل‌باورند، اما  در حقیقت نادرست، بی‌اساس یا فاقد پشتوانه واقعی هستند.

 پژوهش‌های علمی نشان می‌دهند دروغ گفتن هوش مصنوعی یک خطای تصادفی و حاشیه‌ای نیست، بلکه یکی از چالش‌های بنیادی مدل‌های زبانی بزرگ به شمار می‌رود. پژوهشی که در سال ۲۰۲۴ در نشریه معتبر Nature منتشر شد نیز تأکید می‌کند که مدل‌هایی مانند ChatGPT با وجود توانایی چشمگیر در پاسخ‌گویی، همچنان ممکن است خروجی‌های نادرست و اثبات‌نشده تولید کنند.

برای فهم علت این پدیده، باید ابتدا بدانیم مدل‌های زبانی مانند ChatGPT چگونه کار می‌کنند. این مدل‌ها برخلاف یک موتور جست‌وجوی سنتی، لزوماً برای هر سؤال به یک پایگاه داده مراجعه نمی‌کنند تا یک واقعیت از پیش ثبت‌شده را پیدا کنند. مدل زبانی در اصل بر اساس الگوهایی که در جریان آموزش فرا گرفته است، پاسخ را تولید می‌کند.

به زبان ساده، مدل تلاش می‌کند تشخیص دهد در ادامه یک متن، چه واژه یا عبارتی بیشترین احتمال را دارد. همین سازوکار در مقیاس بسیار بزرگ و پیچیده، امکان تولید متن‌های طولانی و منسجم را فراهم می‌کند. بنابراین ممکن است جمله‌ای از نظر زبانی کاملاً منطقی باشد، اما واقعیت خارجی نداشته باشد.

برای مثال، اگر از یک مدل درباره مقاله‌ای ناشناخته سؤال شود، ممکن است نام نویسنده، عنوان مقاله، سال انتشار و حتی شماره صفحات را نیز ارائه کند. مشکل اینجاست که هوش مصنوعی می‌تواند الگوی یک ارجاع علمی معتبر را تولید و ارائه کند، بدون آنکه آن ارجاع خاص واقعاً وجود داشته باشد.

پژوهشگران دانشگاه آکسفورد در مطالعه‌ای که در سال ۲۰۲۴ منتشر شد، روش جدیدی برای شناسایی برخی از این خطاها ارائه کردند. آنها نشان دادند که وقتی هوش مصنوعی برای یک پرسش، پاسخ‌های متعددی تولید می‌کند، میزان اختلاف و عدم‌قطعیت میان این پاسخ‌ها می‌تواند نشانه‌ای از احتمال وقوع توهم باشد. این روش نشان می‌دهد حتی می‌توان تلاش کرد میزان اطمینان مدل به پاسخ خود را به صورت علمی ارزیابی کرد.

چرا هوش مصنوعی به جای اینکه بگوید «نمی‌دانم»، پاسخ اشتباه ارائه می‌کند؟

یکی از توضیحات مهم در پژوهش جدید انجام شده توسط  OpenAI همین مسئله است. در مقاله‌ای که در سپتامبر ۲۰۲۵ منتشر شد، پژوهشگران OpenAI و مؤسسه فناوری جورجیا استدلال کردند که بخشی از مشکل به نحوه آموزش و ارزیابی مدل‌های زبانی بازمی‌گردد. اگر در آزمون‌ها، پاسخ ندادن یا گفتن «نمی‌دانم» امتیاز کمتری نسبت به ارائه یک پاسخ داشته باشد، مدل از نظر آماری انگیزه پیدا می‌کند که حتی هنگام عدم اطمینان نیز حدس بزند.

 به بیان ساده، گاهی سیستم یاد می‌گیرد که «پاسخ دادن» بهتر از «اعتراف به ندانستن» است. اهمیت موضوع زمانی بیشتر می‌شود که بدانیم انسان‌ها معمولاً به پاسخ‌هایی که با اعتمادبه‌نفس و زبان روان ارائه می‌شوند، بیشتر اعتماد می‌کنند. هوش مصنوعی نیز می‌تواند همین تصور را در ذهن شما ایجاد کند. در این میان باید توجه داشت یک پاسخ اشتباه در مورد پیشنهاد تماشای فیلم یا دستور آشپزی ممکن است پیامد چندانی نداشته باشد؛ اما خطای مشابه در پزشکی، حقوق، پژوهش علمی، تاریخ یا تصمیم‌گیری‌های اقتصادی می‌تواند پیامدهای جدی داشته باشد.

گزارش AI Index  دانشگاه استنفورد در سال ۲۰۲۵ نیز نشان می‌دهد که پژوهشگران همچنان به طور جدی در حال اندازه‌گیری میزان خطا و توهم در مدل‌های مختلف هستند. این گزارش در عین حال تأکید می‌کند که نرخ خطا به نوع مدل، وظیفه و روش ارزیابی وابسته است و نمی‌توان یک عدد ثابت را به همه سامانه‌های هوش مصنوعی تعمیم داد.

با وجود این، نباید نتیجه گرفت که هوش مصنوعی قابل اعتماد نیست یا نمی‌توان از آن استفاده کرد. واقعیت این است که مدل‌های جدید در مقایسه با نسل‌های قبلی پیشرفت قابل توجهی داشته‌اند و روش‌های مختلفی از جمله استفاده از منابع خارجی و ابزارهای جست‌وجو گرفته تا آموزش بهتر مدل، ارزیابی دقیق‌تر و روش‌های تشخیص عدم‌قطعیت برای کاهش خطا در حال توسعه است.

مساله مهم دیگر این است که پدیده دروغ گویی در هوش مصنوعی با انسان متفاوت است و در واقع، مشکل اصلی این نیست که هوش مصنوعی دروغ می‌گوید؛ زیرا دروغ مستلزم قصد و آگاهی است. مساله این است که یک مدل زبانی می‌تواند اطلاعات نادرست را بدون قصد فریب و صرفاً به دلیل سازوکار آماری خود، به شکلی بسیار قانع‌کننده تولید کند.

گزارش: نیروانا محمدحسینی