گروه علم و فناوری: مجله نیچر بررسی کرده که آیا این فناوری می‌تواند به پایان نسل بشر منجر شود و چرا شرکت‌های هوش مصنوعی، کاهش سرعت توسعه این فناوری را خواستار شده‌اند.
 نگرانی‌ها درباره اینکه هوش مصنوعی ممکن است روزی همه انسان‌ها را از بین ببرد، پس از هشدارهای پژوهشگران و مدیران برخی از بزرگ‌ترین شرکت‌های هوش مصنوعی جهان، به ‌شدت افزایش یافته است. گمانه‌زنی‌ها درباره اینکه قانون‌گذاران چه واکنشی نشان خواهند داد نیز بالا گرفته است. مجله نیچر در این گزارش بررسی می‌کند که این نگرانی‌ها دقیقا چیست، چه کسانی آنها را مطرح کرده‌اند و در ادامه ممکن است چه اتفاقی بیفتد.
موج اخیر نگرانی‌ها درباره هوش مصنوعی از هشتم سپتامبر آغاز شد؛ زمانی که پژوهشگری به روزنامه وال‌استریت ژورنال گفت از شرکت هوش مصنوعی آنتروپیک در سان‌فرانسیسکو استعفا داده است، زیرا نگران بود سامانه‌هایی که این شرکت در حال توسعه آنها است، از کنترل خارج شوند و بشریت را نابود کنند.
او در پستی در شبکه اجتماعی ایکس که نخستین پست او در این شبکه بود، نوشت: افرادی که در حال ساخت هوش مصنوعی هستند، واقعا باور دارند که این فناوری ممکن است تا پایان این دهه همه ما را بکشد.
چند ساعت بعد، ایوان هابینگر که مسئول بخش «هم‌راستاسازی» (Alignment Science) در آنتروپیک است، حوزه‌ای که هدف آن هماهنگ کردن رفتار مدل‌های هوش مصنوعی با ارزش‌های انسانی است، این پیام را بازنشر کرد و برآورد خود را نیز افزود. او احتمال انقراض انسان در دهه آینده را بیش از ۱۰ درصد تخمین زد.
این پست طی ۲۴ ساعت بیش از ۱۰۰ میلیون بازدید به دست آورد.
پس از آن، داریو آمودی، مدیرعامل آنتروپیک مقاله‌ای منتشر کرد و کاهش سرعت توسعه هوش مصنوعی را خواستار شد. مدیران شرکت‌های رقیب، از جمله سم آلتمن از اوپن ای‌آی و ایلان ماسک از ایکس ای‌آی نیز از این پیشنهاد حمایت کرده‌اند.
پژوهشگران توضیح دقیقی درباره اینکه هوش مصنوعی چگونه ممکن است انسان‌ها را از بین ببرد، ارائه نکرده‌اند. با این حال، تلاش‌هایی برای ترسیم سناریوهای احتمالی انجام شده است.
در یک پیش‌بینی فرضی با عنوان «AI 2027» که توسط پروژه غیرانتفاعی AI Futures تهیه شده، یک هوش مصنوعی برای از بین بردن انسان‌ها یک سلاح زیستی آزاد می‌کند تا فضای بیشتری برای ساخت پنل‌های خورشیدی و کارخانه‌های تولید ربات فراهم شود.
پژوهشگرانی که درباره چنین خطراتی هشدار می‌دهند، معمولا می‌گویند انقراض انسان ممکن است، اما قطعی نیست. دو فرض وجود دارد: نخست اینکه این سامانه‌ها در نهایت بتوانند به ‌طور کامل از انسان‌ها پیشی بگیرند و دوم اینکه اهداف آنها کاملا با اهداف انسان‌ها همسو نباشد.
یکی از مثال‌های مشهور، سناریوی «گیره کاغذ» است. در این سناریو، یک ابرهوش مصنوعی با هدف تولید هرچه بیشتر گیره کاغذ طراحی شده است و ممکن است در نهایت برای رسیدن به هدف خود، زمین را به محیطی غیرقابل سکونت تبدیل کند.
مایکل ورمیر، پژوهشگر سیاست علم و فناوری در مؤسسه RAND، می‌گوید بسیاری از پژوهشگرانی که درباره تهدیدهای وجودی هوش مصنوعی نگران هستند، وقتی به آن نقطه می‌رسیم، صرفا فرض می‌کنند که بقیه ماجرا جزئیات است.
او می‌افزاید که چنین پیش‌بینی‌هایی شامل ادعاهای غیرقابل‌ آزمایش هستند که در نهایت گفت‌وگو بیشتر شبیه ایمان می‌شود تا چیزی علمی یا تجربی.
به گفته او، همین موضوع تصمیم‌گیری درباره اقدامات لازم بر اساس این پیش‌بینی‌ها را دشوار می‌کند.
ورمیر و همکارانش به جای این پیش‌بینی‌های فرضی، در سال ۲۰۲۵ سناریوهای عملی مرتبط با یکی از سه فناوری موجود را بررسی کردند: سلاح‌های هسته‌ای، زیست‌فناوری و تغییر عمدی جو زمین.
آنها دریافتند که نابودی کامل بشریت با استفاده از سلاح‌های هسته‌ای امکان‌پذیر نیست، اما نمی‌توان دو سناریوی دیگر را کاملاً منتفی دانست.
با این حال، پژوهشگران دریافتند اجرای چنین سناریوهایی مستلزم آن است که مدل‌های هوش مصنوعی توانایی قابل‌ توجهی برای تعامل فیزیکی با جهان واقعی داشته باشند. همچنین تلاش‌های مرگبار هوش مصنوعی برای نابودی انسان تقریبا قطعا زمان‌بر و قابل شناسایی خواهد بود و در این فاصله، انسان‌ها ممکن است بتوانند آن را متوقف کنند.
یکی از مشکلات این است که مدل‌های هوش مصنوعی تا حد زیادی سامانه‌هایی احتمالاتی هستند که بازتابی از داده‌های جمع‌آوری‌ شده از اینترنت در فرایند آموزش خود محسوب می‌شوند.
هایدی خلاف، دانشمند ارشد هوش مصنوعی در موسسه AI Now در نیویورک، می‌گوید این مدل‌ها درک انسانی ندارند و ممکن است برای دستیابی به اهداف خود، از میان‌برهای غیرقابل پیش‌بینی استفاده کنند.
رفتارهای خطرناک مشاهده ‌شده در آزمایش‌ها شامل تلاش برای باج‌گیری از افراد بوده است. همچنین در مواردی، مدل‌های هوش مصنوعی توانسته‌اند به شرکت‌های واقعی حمله سایبری کنند؛ البته مورد دوم زمانی رخ داد که برای آزمایش رفتار مدل‌ها، برخی سازوکارهای ایمنی حذف شده بودند و مدل‌ها نیز با وظیفه‌ای مواجه شده بودند که آنها را به دنبال کردن راه‌حل‌های غیرمجاز تشویق می‌کرد.
در مقابل، بسیاری از پژوهشگران بیشتر نگران این هستند که تلاش ناکافی شرکت‌ها برای محدود کردن و نظارت بر اقدامات مدل‌های هوش مصنوعی، به پیامدهای زیانباری منجر شود که بسیار فوری‌تر و محتمل‌تر از خطر انقراض انسان هستند.
این خطرات از اطلاعات نادرست و اختلالات روانی گرفته تا رویدادهای فاجعه‌باری مانند کمک به انسان‌ها برای ساخت عمدی سلاح زیستی یا حتی ایجاد یک جنگ را شامل می‌شوند.
اطلاعات نادرست موجود در یک گزارش تولید شده توسط هوش مصنوعی، در اوایل سال جاری میلادی تقریبا باعث شد ارتش آمریکا یک کشتی چینی را متوقف کند و سوار آن شود.
از سال ۲۰۲۳، آمودی و همتایانش بارها درباره نگرانی خود از خطر انقراض انسان صحبت کرده‌اند، اما این بار این بحث وارد جریان اصلی جامعه شده است.
واکنش عمومی علیه ساخت مراکز داده و تلاش برخی قانون‌گذاران آمریکایی، از جمله سناتور برنی سندرز، برای ارائه طرحی جهت ممنوعیت «ابرهوش مصنوعی» در آمریکا، ممکن است به داغ‌تر شدن این بحث کمک کرده باشد.
در دو ماه گذشته نیز مجموعه‌ای از حوادث نگران‌کننده در حوزه امنیت سایبری رخ داده است که باعث شد نزدیک به ۱۴۰۰ نفر از کارکنان صنعت هوش مصنوعی نامه‌ای سرگشاده را امضا کنند و کاهش سرعت توسعه این فناوری را خواستار شوند.
آمودی و هابینگر با ورود به این بحث نشان داده‌اند که شرکت‌های هوش مصنوعی از افزایش توجه به موضوع ایمنی این فناوری استقبال می‌کنند.
آمودی در مقاله خود نوشته است که نگرانی‌هایش به‌ دلیل حوادث امنیت سایبری اخیر و همچنین احتمال آنکه هوش مصنوعی بتواند نسخه بعدی و جانشین خودش را بسازد، افزایش یافته است.
این فرایند که با عنوان خودبهبوددهی بازگشتی (Recursive Self-Improvement) شناخته می‌شود، در بخش‌هایی از صنعت هوش مصنوعی در حال آزمایش است و به گفته آمودی، می‌تواند توانایی انسان‌ها برای درک و کنترل مدل‌ها را کاهش دهد.
از سوی دیگر، قوانین سخت‌گیرانه‌تر می‌تواند به شرکت‌هایی مانند آنتروپیک اجازه دهد سرعت توسعه خود را کاهش دهند، بدون اینکه در رقابت با شرکت‌های رقیب مزیت خود را از دست بدهند. با این حال، برخی افراد دلایل دیگری را نیز مطرح کرده‌اند.
آمودی پیشنهاد کرده است شرکت‌های فعال در توسعه مدل‌های پیشرفته هوش مصنوعی، دسترسی مشابه دسترسی کارکنان شرکت را برای یک گروه مستقل از ارزیابان شخص ثالث فراهم کنند.
مدیران دیگر شرکت‌های بزرگ هوش مصنوعی در آمریکا نیز از این پیشنهاد حمایت کرده‌اند.
این ارزیابان بررسی خواهند کرد که آیا شرکت‌ها استانداردهای مناسب ایمنی را رعایت می‌کنند یا نه و همچنین شفافیت بیشتری درباره فعالیت‌های داخل این شرکت‌ها ایجاد خواهند کرد.
آمودی همچنین پیشنهاد کرده است دولت آمریکا قوانین ضدانحصار را در برخی موارد کنار بگذارد تا شرکت‌های رقیب بتوانند برای تعیین استانداردهای مشترک با یکدیگر همکاری کنند؛ اقدامی که می‌تواند به کاهش سرعت توسعه هوش مصنوعی منجر شود.
این پیشنهاد فراتر از برنامه‌های فعلی کاخ سفید است که بر اساس آن، مدل‌های هوش مصنوعی باید ۳۰ روز پیش از عرضه مورد بررسی قرار بگیرند؛ هرچند معیارهای این ارزیابی هنوز اعلام نشده‌اند.
قانون‌گذاران آمریکایی چندین طرح برای افزایش نظارت بر هوش مصنوعی پیشنهاد کرده‌اند.
اما دونالد ترامپ، رئیس‌جمهوری آمریکا با درخواست برای کاهش سرعت توسعه هوش مصنوعی مخالفت کرده و ضمن انتقاد از آمودی، این موضوع را یک «توطئه بیمارگونه» علیه هوش مصنوعی توصیف کرده است. او همچنین گفته است: تنها کسی که از این وضعیت خوشحال است، چین است.
چین در حال حاضر مقررات گسترده‌ای در زمینه هوش مصنوعی دارد، اما تلاش عمدی برای کاهش سرعت توسعه این فناوری در این کشور وجود ندارد.
در حال حاضر هیچ مقررات جهانی واحدی برای هوش مصنوعی وجود ندارد.
ترامپ قرار است در ۲۴ سپتامبر با شی جین‌پینگ، رئیس‌جمهوری چین دیدار کند، اما تحلیلگران معتقدند دستیابی آمریکا و چین به توافقی درباره ایمنی هوش مصنوعی بعید است.
با این حال، همان‌طور که سم آلتمن پیش‌تر گفته است، اگر چنین توافقی میان دو کشور شکل بگیرد، این دو نفر می‌توانند با هم جایزه صلح نوبل را دریافت کنند.