شفقنا آینده- اواخر سال گذشته، رسانه های سراسر جهان هشدار دادند که ظروف پخت و پز پلاستیکی سیاه رنگ حاوی سطوح نگران کننده ای از مواد ضد شعله مرتبط با سرطان هستند. مشخص شد که این خطر بیش از حد افزایش یافته است – یک خطای ریاضی در تحقیقات اساسی نشان داد که یک ماده شیمیایی کلیدی از حد مجاز فراتر رفته است در حالی که در واقع ده برابر کمتر از حد مجاز است. محققان با چشم تیزبین به سرعت نشان دادند که یک مدل هوش مصنوعی (AI) می تواند این خطا را در چند ثانیه تشخیص دهد.

به گزارش شفقنا از نیچر، این حادثه دو پروژه را تحریک کرده است که از هوش مصنوعی برای یافتن اشتباهات در ادبیات علمی استفاده می کنند. پروژه Black Spatula یک ابزار هوش مصنوعی منبع باز است که تاکنون حدود 500 مقاله را برای خطاها تجزیه و تحلیل کرده است. این گروه که حدود هشت توسعه‌دهنده فعال و صدها مشاور داوطلب دارد، هنوز خطاها را عمومی نکرده است. خواکین گولوسو، محقق مستقل هوش مصنوعی مستقر در کارتاژنا، کلمبیا، که به هماهنگی پروژه کمک می کند، می گوید در عوض، مستقیماً به نویسندگان آسیب دیده نزدیک می شود. گولوسو می‌گوید: «هم‌اکنون، خطاهای زیادی پیدا کرده است. “این یک لیست بزرگ است. این فقط دیوانه است.»

مت Schlicht بنیانگذار و کارآفرین هوش مصنوعی می گوید که تلاش دیگر YesNoError نام دارد و از پروژه Black Spatula الهام گرفته شده است. این ابتکار که توسط ارز دیجیتال اختصاصی خود تامین می شود، اهداف خود را حتی بالاتر از این هم قرار داده است. “فکر کردم، چرا ما مانند همه اسناد را مرور نمی کنیم؟” شلیخت می گوید. او می گوید که ابزار هوش مصنوعی آنها بیش از 37000 مقاله را در دو ماه تجزیه و تحلیل کرده است. وب‌سایت آن مقاله‌هایی را که در آن‌ها ایراداتی پیدا کرده است علامت‌گذاری می‌کند – که بسیاری از آنها هنوز توسط یک انسان تأیید نشده‌اند، اگرچه Schlicht می‌گوید YesNoError برنامه‌ای دارد تا در نهایت این کار را در مقیاس انجام دهد. در حال حاضر، سایت YesNoError خطاهایی را فهرست می‌کند که واقعی نیستند و این ابتکار هنوز گزارش کاملی از عملکرد این ابزار منتشر نکرده است.

هر دو پروژه از محققان می خواهند که قبل از ارسال کار به مجله از ابزارهای خود استفاده کنند، و مجلات قبل از انتشار از آنها استفاده کنند، ایده این است که از اشتباهات و همچنین تقلب جلوگیری شود و به ادبیات علمی راه پیدا کند.

این پروژه ها دارای پشتیبانی آزمایشی از کارمندان دانشگاهی هستند که در یکپارچگی تحقیق کار می کنند. اما نگرانی هایی نیز در مورد خطرات احتمالی وجود دارد، از جمله اینکه ابزارها می توانند به طور مخرب و قبل از آماده شدن استفاده شوند. میشل نویتن، محقق فراعلم در دانشگاه تیلبورگ هلند، می‌گوید که این ابزارها تا چه اندازه می‌توانند اشتباهات را تشخیص دهند و آیا ادعاهای آنها تأیید شده است یا خیر، باید روشن شود. او می‌گوید: «اگر شروع به انگشت گذاشتن به سمت مردم کنید و بعد معلوم شد که اشتباهی در کار نبوده است، ممکن است به شهرت آسیب وارد شود.

برخی دیگر اضافه می کنند که اگرچه خطراتی وجود دارد و پروژه ها باید در مورد آنچه ادعا می کنند محتاط باشند، اما هدف درست است. جیمز هدرز، متخصص پزشکی قانونی در دانشگاه لینائوس در وکسیو، سوئد، می‌گوید بیرون کشیدن اوراق نامرغوب بسیار آسان‌تر از پس گرفتن آنها است. هدرز که به عنوان مشاور پروژه Black Spatula عمل کرده است، می‌گوید: در اولین قدم، هوش مصنوعی می‌تواند برای تریاژ مقالات برای بررسی بیشتر مورد استفاده قرار گیرد. او می افزاید: «این روزهای اولیه است، اما من از این ابتکارات حمایت می کنم.

کارمندان هوش مصنوعی

بسیاری از محققان حرفه خود را وقف کشف نگرانی‌های یکپارچگی در مقالات کرده‌اند – و ابزارهایی برای بررسی برخی از جنبه‌های مقاله در حال حاضر وجود دارد. اما طرفداران امیدوارند که هوش مصنوعی بتواند طیف وسیع تری از بررسی ها را در یک عکس انجام دهد و حجم بیشتری از اوراق را مدیریت کند.

هر دو پروژه Black Spatula و YesNoError از مدل های زبان بزرگ (LLMs) برای شناسایی طیف وسیعی از خطاها در مقالات، از جمله خطاهای واقعی و همچنین در محاسبات، روش شناسی و ارجاع استفاده می کنند.

سیستم ها ابتدا اطلاعات شامل جداول و تصاویر را از مقالات استخراج می کنند. سپس مجموعه‌ای از دستورالعمل‌های پیچیده را ایجاد می‌کنند که به عنوان یک اعلان شناخته می‌شود، که به یک مدل «استدلال» – نوعی از LLM تخصصی – می‌گوید که به چه چیزی نگاه می‌کند و چه نوع خطاهایی را باید دنبال کرد. این مدل ممکن است یک مقاله را چندین بار تجزیه و تحلیل کند، یا هر بار انواع مختلف خطا را اسکن کند یا نتایج را بررسی کند. هزینه تجزیه و تحلیل هر کاغذ بسته به طول کاغذ و سری درخواست های مورد استفاده از 15 سنت تا چند دلار متغیر است.

نرخ مثبت کاذب، مواردی که در آن هوش مصنوعی ادعا می کند خطا در جایی که وجود ندارد، یک مانع بزرگ است. گولوسو می‌گوید در حال حاضر، سیستم پروژه Black Spatula در حدود 10 درصد از مواقع خطا دارد. استیو نیومن، مهندس نرم‌افزار و کارآفرینی که پروژه Black Spatula را تأسیس کرده است، می‌گوید هر خطای ادعایی باید با متخصصان این موضوع بررسی شود و یافتن آنها بزرگترین گلوگاه پروژه است.

تا کنون، تیم Schlicht’s YesNoError مقدار مثبت کاذب را تعیین کرده است این فقط در حدود 100 خطای ریاضی است که هوش مصنوعی در یک دسته اولیه از 10000 مقاله یافت. او می‌گوید از 90 درصد نویسندگانی که به Schlicht پاسخ دادند، همه به جز یک نفر موافق بودند که خطای شناسایی شده معتبر است. در نهایت، YesNoError در حال برنامه ریزی برای همکاری با ResearchHub است، پلتفرمی که به دانشمندان دکترا در زمینه ارزهای رمزنگاری شده برای انجام بررسی همتایان پول می دهد. هنگامی که هوش مصنوعی مقاله ای را بررسی کرد، YesNoError درخواستی را برای تأیید نتایج ایجاد می کند، اگرچه هنوز شروع نشده است.

منبع: نیچر