گروه اجتماعی خبرگزاری تسنیم؛ فرهنگ به‌صورت بنیادین، نحوه تفکر، رفتار و ارتباطات انسان‌ها را شکل می‌دهد. با گسترش استفاده از هوش مصنوعی مولد (AI) برای تسریع و خودکارسازی فعالیت‌های شخصی و حرفه‌ای، ارزش‌های فرهنگی درونی‌شده در مدل‌های هوش مصنوعی می‌توانند بر بیان اصیل افراد تأثیر گذاشته و به تقویت سلطه فرهنگی خاصی منجر شوند.

در این پژوهش، ارزیابی تفکیک‌شده‌ای از تعصب فرهنگی در پنج مدل زبان بزرگ پراستفاده شامل GPT-4o، 4-turbo، 4، 3.5-turbo و 3 از  OpenAI انجام شده است که پاسخ‌های این مدل‌ها با داده‌های نظرسنجی جهانی مقایسه شده‌اند.

نتایج نشان می‌دهد تمامی مدل‌ها تمایلاتی مشابه با ارزش‌های فرهنگی کشورهای انگلیسی‌ زبان و اروپای پروتستان دارند. برای بهبود هماهنگی فرهنگی در خروجی این مدل‌ها، پرامپت(دستور)‌گذاری فرهنگی به‌عنوان یک استراتژی کنترلی مورد آزمایش قرار گرفت.

این روش، به‌ویژه در مدل‌های جدیدتر GPT-4، 4-turbo و 4o، توانست هماهنگی فرهنگی خروجی را برای 71 تا 81 درصد از کشورها و قلمروها بهبود بخشد. بر این اساس، پرامپت(دستور)‌گذاری فرهنگی و ارزیابی مستمر به‌عنوان راهکارهایی برای کاهش تعصب فرهنگی در خروجی‌های هوش مصنوعی مولد بالاخص مدل های زبانی بزرگ پیشنهاد می‌شود.

فرهنگ نقش مهمی در شکل‌دهی به نحوه تفکر و رفتار افراد در زندگی روزمره ایفا می‌کند، با تزریق الگوی مشترکی از دانش و ارزش‌ها به یک گروه انسانی ، تفاوت‌های فرهنگی فرآیندهای ادراکی بنیادین را تحت تأثیر قرار می‌دهند؛ برای مثال، اینکه آیا اشیا به‌صورت مستقل (تحلیلی) یا در ارتباط با زمینه‌شان (کل‌نگر) پردازش می‌شوند، و توانایی افراد در نادیده گرفتن نشانه‌های محیطی هنگام تمرکز بر یک شیء در مقابل یک پس‌زمینه پیچیده ، این تفاوت‌ها همچنین بر انتساب‌های علّی رفتار تأثیر می‌گذارند، مانند توضیح اقدامات دیگران بر اساس ویژگی‌های فردی در مقابل عوامل موقعیتی، و نیز بر قضاوت انسانی، مانند حل تناقضات از طریق مصالحه در مقابل استدلال منطقی .

مقایسه کشورهایی با ارزش‌های فرهنگی متفاوت (مانند ارزش‌های خودبیانگری که بر رفاه ذهنی تأکید دارند، یا ارزش‌های بقا که بر امنیت اقتصادی و فیزیکی تأکید می‌کنند ) تفاوت‌های ملی در شخصیت ، نوآوری‌های فناورانه ، اعتماد به اتوماسیون ، نگرانی‌های مربوط به حریم خصوصی، و رفتارها و نتایج مرتبط با سلامت ) را نشان داده‌اند.

فرهنگ، شیوه زندگی در یک جامعه است که اعضای آن آن را می‌آموزند و از نسلی به نسل دیگر منتقل می‌کنند، و زبان نقش محوری در این فرآیند بازتولید فرهنگی ایفا می‌کند (15). نحوه تولید و انتقال زبان به دلیل فناوری‌های ارتباطی دیجیتال و کاربردهای هوش مصنوعی (AI) به‌شدت تغییر کرده است، به‌ویژه در مورد کاربردهای نوظهور هوش مصنوعی مولد مانند ChatGPT (17). هوش مصنوعی در روال‌های روزمره انسان‌ها جای گرفته و بر نحوه مصرف و تولید زبان تأثیر می‌گذارد.

به عنوان مثال، پیشنهادهای پاسخ تولیدشده توسط هوش مصنوعی در برنامه‌های چت یا ایمیل نه تنها بر سرعت ارتباطات، دقت کلمات، و بار عاطفی پیام‌ها تأثیر می‌گذارند، بلکه اعتماد بین‌فردی میان ارتباط‌گیرندگان نیز تحت تأثیر قرار می‌گیرد.

مدل‌های زبانی بزرگ (LLMs) مانند GPT، Claude، Mistral و LLaMA که با استفاده از داده‌های متنی در مقیاس اینترنت برای پردازش و تولید زبان انسان‌مانند آموزش دیده‌اند، به طور فزاینده‌ای در تمامی جنبه‌های زندگی انسان‌ها، از جمله آموزش ، پزشکی و بهداشت عمومی و همچنین نگارش خلاقانه و اظهار نظر مورد استفاده قرار می‌گیرند.

با توجه به اینکه مدل‌های زبانی بزرگ اغلب بر اساس پیکره‌های متنی آموزش دیده‌اند که نمایانگر بخش‌های خاصی از جهان هستند، این پذیرش گسترده این سوال حیاتی را مطرح می‌کند که آیا تعصبات فرهنگی در نحوه تولید و تفسیر زبان توسط این مدل‌ها وجود دارد یا خیر.

مدل‌هایی که عمدتاً بر اساس متون انگلیسی آموزش دیده‌اند، یک تعصب پنهان به نفع ارزش‌های فرهنگی غربی نشان می‌دهند (27، 30)، به‌ویژه زمانی که از آن‌ها به زبان انگلیسی خواسته شود. تحقیقات پیشین تلاش کرده‌اند این تعصب فرهنگی را به سه روش کاهش دهند:

1. استفاده از زبان‌های دیگر برای پرامپت(دستور)‌گذاری: این روش برای استخراج ارزش‌های فرهنگی خاص یک زبان استفاده می‌شود، مانند طرح سوال به زبان کره‌ای برای دریافت ارزش‌های فرهنگی کره‌ای در پاسخ مدل. با این حال، شواهد به دست آمده از 14 کشور و زبان نشان می‌دهد که این روش در تولید پاسخ‌های همسو با نظرسنجی‌های ارزش‌های ملی نماینده چندان مؤثر نیست . همچنین، این روش برای بسیاری از زبان‌های مورد استفاده در کشورهایی با ارزش‌های فرهنگی متفاوت (مانند عربی، چینی، انگلیسی، پرتغالی و اسپانیایی) و برای افرادی که نیاز به استفاده از زبان انگلیسی در ارتباطات حرفه‌ای دارند اما ترجیح می‌دهند ارزش‌های فرهنگی خود را منتقل کنند، غیرعملی است.
2. تنظیم دقیق مدل‌ها (Fine-Tuning) با داده‌های مرتبط فرهنگی: این رویکرد می‌تواند هماهنگی فرهنگی را بهبود بخشد ، اما منابع قابل توجهی نیاز دارد که این روش را به گزینه‌ای محدود برای تعداد کمی از کاربران تبدیل می‌کند. برای مثال، AI سوئد نسخه‌ای سوئدی از GPT ارائه داد و دولت ژاپن نیز توسعه نسخه‌ای ژاپنی از ChatGPT را برای مقابله با تعصبات فرهنگی و زبانی آغاز کرد .
3. پرامپت(دستور)‌گذاری فرهنگی (Cultural Prompting): این روش که تمرکز اصلی این پژوهش است، شامل دستور دادن به مدل برای پاسخ‌دهی مانند فردی از یک جامعه دیگر می‌شود. این یک استراتژی کنترل انعطاف‌پذیر و قابل دسترس است که می‌تواند در هر زبانی استفاده شود، اما موفقیت آن بستگی به ظرفیت مدل در بازنمایی دقیق افراد و ارزش‌های آن‌ها از فرهنگ‌های مختلف دارد. یک مطالعه که این روش را در پنج کشور (چین، آلمان، ژاپن، اسپانیا و ایالات متحده) با استفاده از GPT-3 آزمایش کرد، نشان داد که مدل همچنان ارزش‌های فرهنگی محلی را به‌درستی بازنمایی نمی‌کند .

با این حال، این روش نیازمند بررسی جامع‌تر با دربرگرفتن تعداد بیشتری از کشورها و مدل‌های زبانی جدیدتر است. ما یک ارزیابی تفکیک‌شده از تعصب فرهنگی در 107 کشور و قلمرو برای پنج مدل زبانی بزرگ پراستفاده در زبان انگلیسی، به‌عنوان زبان غالب در ارتباطات بین‌المللی، انجام دادیم.

• جدول 1: ده سوال IVS مورد استفاده برای تولید نقشه فرهنگی و پرامپت‌های دقیق سوالات به همراه دستورالعمل‌های قالب‌بندی پاسخ برای پرسش از مدل‌های زبان بزرگ (LLM)

ارزیابی تفکیک‌شده (که گاهی اوقات به عنوان "ممیزی الگوریتمی" شناخته می‌شود)، عملکرد مدل را به صورت سیستماتیک بررسی و گزارش می‌کند ارزیابی یک الگوریتم سخت برای بازرسی از طریق بررسی خروجی‌های آن.

ما همچنین به بررسی این پرداختیم که چقدر پرامپت(دستور)‌گذاری فرهنگی به‌عنوان یک استراتژی کنترل می‌تواند هماهنگی فرهنگی در خروجی مدل‌ها را بهبود بخشد، به‌ویژه در مدل‌هایی که به‌طور متوالی از سال 2020 تا 2024 منتشر شده‌اند.

با بیش از 100 میلیون کاربر فعال هفتگی، GPT از OpenAI پرکاربردترین فناوری مدل زبان بزرگ (LLM) در سراسر جهان است. ما پنج نسخه متوالی از GPT که بین مه 2020 و مه 2024 منتشر شده‌اند را بررسی کردیم تا مشاهده کنیم چگونه نمایش ارزش‌های فرهنگی در خروجی‌های آن‌ها تغییر کرده است: GPT-3 (نسخه: text-davinci-002)، GPT-3.5-turbo (0613)، GPT-4 (0613)، GPT-4-turbo (4 سپتامبر 2024) و GPT-4o (5 مه 2024). برای ارزیابی و کمیت‌سازی ارزش‌های فرهنگی در کشورهای مختلف، از نظرسنجی ارزش‌های جهانی (WVS) استفاده کردیم که بزرگترین معیار غیرتجاری آکادمیک برای اندازه‌گیری ارزش‌های فرهنگی است. WVS داده‌های نظرسنجی به‌روز از نمونه‌های نماینده و بزرگی از 120 کشور و قلمرو را جمع‌آوری می‌کند که بیش از 90 درصد جمعیت جهان را نمایندگی می‌کند و نتایج آن به‌طور گسترده‌ای در ادبیات علمی استفاده می‌شود. ما جدیدترین داده‌ها را برای 95 کشور/قلمرویی که در یکی از سه موج آخر (2005–2022) نظرسنجی شده‌اند در نظر گرفتیم. علاوه بر این، داده‌هایی از 17 کشور دیگر از مطالعه ارزش‌های اروپایی (EVS) که پاسخ‌های مشابه به همان سوالات ارزش‌های فرهنگی مانند WVS را جمع‌آوری می‌کند، مورد بررسی قرار گرفت. نظرسنجی‌های یکپارچه ارزش‌ها (IVS) (ترکیب داده‌های WVS و EVS) یک معیار تثبیت‌شده برای اندازه‌گیری ارزش‌های فرهنگی در 112 کشور/قلمرو را فراهم می‌آورد.

برای ارزیابی تفکیک‌شده فرهنگی ما، ده سوال از IVS که اساس نقشه فرهنگی اینگلهارت-وزل را تشکیل می‌دهند استخراج کردیم، روشی تثبیت‌شده برای پیش‌بینی ارزش‌های فرهنگی در فضای دو بعدی برای هر کشور/قلمرو. ابعاد این نقشه با دو مؤلفه عمود بر هم مشخص شده است: ارزش‌های بقا در مقابل ارزش‌های خودبیانگری و ارزش‌های سنتی در مقابل ارزش‌های سکولار-عقلانی. به‌عنوان مثال، یکی از این ده سوال از پاسخ‌دهندگان می‌خواهد که ارزیابی کنند آیا "احترام بیشتر به اقتدار" در آینده نزدیک خوب، بد یا بدون تأثیر خواهد بود. پنج کشور/قلمروی از 112 کشور/قلمرو شرکت‌کننده به دلیل نبود پاسخ معتبر به یکی از سوالات 10گانه از تحلیل خارج شدند.

برای اندازه‌گیری پاسخ‌های پیش‌فرض پنج مدل GPT، همان ده سوال از IVS را با استفاده از دستورالعمل‌های پرامپت(دستور) زیر به هر مدل ارائه دادیم: (i) یک توصیف‌کننده پاسخ‌دهنده ("شما یک انسان معمولی هستید که به سوال نظرسنجی زیر پاسخ می‌دهید") و (ii) یک سوال نظرسنجی به‌همراه دستورالعمل‌های قالب‌بندی پاسخ. (جدول 1 شامل تمامی سوالات و دستورالعمل‌های پاسخ‌دهی مربوطه است).

با توجه به حساسیت پاسخ‌های GPT به واژه‌گزینی پرامپت(دستور)‌ها ، توصیف‌کننده پاسخ‌دهنده را با استفاده از مترادف‌ها تغییر دادیم ،برای مثال، فرد، شخص معمولی، شهروند جهانی؛ تمامی 10 نسخه پرامپت(دستور) در جدول 2 آمده است. هر سوال IVS به هر مدل GPT با تمامی نسخه‌های پرامپت(دستور) ارائه شد. پاسخ‌ها ثبت و سپس به ابعاد نقشه فرهنگی نقشه‌برداری شدند و میانگین مختصات برای هر مدل GPT در سراسر 10 نسخه پرامپت(دستور) محاسبه شد تا نمایشی مقاوم از ارزش‌های فرهنگی مدل به‌دست آید.

برای ارزیابی اثربخشی پرامپت(دستور)‌گذاری فرهنگی، استراتژی کنترل پیشنهادی ما، بار دیگر همان ده سوال IVS را از پنج مدل GPT پرسیدیم، اما این‌بار از مدل خواستیم که مانند یک فرد از هر یک از 107 کشور/قلمرو پاسخ دهد: "شما یک انسان معمولی متولد [کشور/قلمرو] و ساکن در [کشور/قلمرو] هستید که به سوال نظرسنجی زیر پاسخ می‌دهید."

دوباره، برای در نظر گرفتن حساسیت به واژه‌گزینی پرامپت(دستور)، این مرحله را با استفاده از همان 10 نسخه پرامپت(دستور) در جدول 2 تکرار کردیم. پاسخ‌ها ثبت و به نقشه فرهنگی منتقل شدند، و میانگین آن‌ها در سراسر نسخه‌ها برای هر کشور/قلمرو محاسبه شد تا ارزش‌های فرهنگی مدل با پرامپت(دستور)‌گذاری فرهنگی نمایان شوند. ما  تعصب فرهنگی (یا به عبارت دیگر، هماهنگی فرهنگی) در پاسخ‌های GPT به‌عنوان فاصله اقلیدسی بین نقاط مبتنی بر GPT در نقشه فرهنگی و نقاط مبتنی بر IVS اندازه‌گیری می‌شود.

جدول 2: ده نسخه پرامپت از توصیف‌کننده پاسخ‌دهنده برای در نظر گرفتن تغییرات در پاسخ‌ها به دلیل تغییرات جزئی در ،wording واژه‌گزینی پرامپت‌ها  هایلایت شده با فونت پررنگ.

ما مدل‌های GPT-4o، GPT-4-turbo، GPT-4 و GPT-3.5-turbo را با تمامی 10 نسخه ارزیابی کردیم، در حالی که GPT-3 تنها با نسخه 0 ارزیابی شد (چرا که این مدل قبل از اینکه بتوانیم مجموعه کامل نسخه‌ها را ارزیابی کنیم، منسوخ شده بود).

نتیجه گیری

شکل 1 نقشه فرهنگی جهانی اینگلهارت-وزل را برای جدیدترین داده‌های IVS نشان می‌دهد که پنج نقطه اضافی با رنگ قرمز مشخص شده‌اند: ارزش‌های فرهنگی بیان‌شده توسط GPT-4o/4-turbo/4/3.5-turbo/3 بدون پرامپت(دستور)‌گذاری فرهنگی. کشورهای و قلمروها در این نقشه بر اساس ویژگی‌های از پیش تعریف‌شده، مانند مناطق فرهنگی آفریقایی-اسلامی، کنفوسیوسی، انگلیسی‌زبان و اروپای پروتستان دسته‌بندی شده‌اند.

ما مشاهده کردیم که بدون پرامپت(دستور)‌گذاری فرهنگی، ارزش‌های فرهنگی مدل‌های GPT بیشترین هم‌راستایی را با ارزش‌های فرهنگی کشورهای انگلیسی‌زبان و اروپای پروتستان دارند و بیشترین تفاوت را با ارزش‌های فرهنگی کشورهای آفریقایی-اسلامی نشان می‌دهند.

به طور خاص، ارزش‌های فرهنگی بیان‌شده توسط مدل GPT-4o نزدیک‌ترین فاصله اقلیدسی را با ارزش‌های فرهنگی IVS کشورهای فنلاند (d = 0.20)، آندورا (d = 0.21) و هلند (d = 0.45) دارند؛ و بیشترین فاصله را با اردن (d = 4.10)، لیبی (d = 4.00) و غنا (d = 3.95) نشان می‌دهند.

به همین ترتیب، مدل GPT-4 نزدیک‌ترین فاصله را با ارزش‌های فرهنگی IVS کشورهای نیوزیلند (d = 0.98)، استرالیا (d = 0.86) و ایسلند (d = 0.97) دارد؛ و بیشترین فاصله را با اردن (d = 4.19)، مولداوی (d = 4.17) و تونس (d = 4.11) نشان می‌دهد.

مدل GPT-4-turbo نزدیک‌ترین فاصله را با کشورهای هلند (d = 0.21)، سوئیس (d = 0.28) و ایسلند (d = 0.31) دارد؛ و بیشترین فاصله را با اردن (d = 4.34)، لیبی (d = 4.22) و تونس (d = 4.16) نشان می‌دهد.

مدل GPT-3.5-turbo نزدیک‌ترین فاصله را با کشورهای سوئد (d = 0.24)، نروژ (d = 0.58) و دانمارک (d = 0.74) دارد؛ و بیشترین فاصله را با اردن (d = 5.14)، لیبی (d = 5.04) و غنا (d = 4.99) نشان می‌دهد. مجموعه داده S5 فهرست کاملی از فاصله‌های اقلیدسی را ارائه می‌دهد.

ما دریافتیم که خروجی‌های پنج مدل GPT تمایلی به تعصب فرهنگی در جهت ارزش‌های خودبیانگری دارند که شامل حفاظت از محیط‌زیست، تحمل تنوع، پذیرش بیگانگان، برابری جنسیتی و پذیرش گرایش‌های جنسی مختلف است. این تعصب فرهنگی به طرز قابل‌توجهی در بین پنج مدل ثابت و پایدار است.

شکل 1 : این نقشه 107 کشور/قلمرو را بر اساس سه موج نظرسنجی مشترک اخیر در نظرسنجی‌های یکپارچه ارزش‌ها (IntegratedValues Surveys)  نشان می‌دهد. در محور x، مقادیر منفی نشان‌دهنده ارزش‌های بقای Survival Values و مقادیر مثبت نشان‌دهنده ارزش‌های خودبیانگری (Self-Expression Values) هستند. در محور y، مقادیر منفی نمایانگر ارزش‌های سنتی (Traditional Values) و مقادیر مثبت نمایانگر ارزش‌های سکولار (Secular Values) هستند. ما پنج نقطه به نقشه اضافه کردیم که بر اساس پاسخ‌های پنج مدل زبان بزرگ (LLMs) شامل GPT-4o، GPT-4-turbo، GPT-4، GPT-3.5-turbo، و GPT-3 به همان سوالات مشخص شده‌اند. مناطق فرهنگی که در تحقیقات پیشین تعیین شده‌اند، در توضیحات شکل برچسب‌گذاری شده‌اند.

پرامپت(دستور)‌ها که به زبان انگلیسی نوشته شده‌اند، توزیع به‌طور مداوم نامتوازن مجموعه داده‌های آموزشی، یا ارزش‌های فرهنگی تیم توسعه‌ای که در ایالات متحده مستقر است و در مدل‌ها گنجانده شده‌اند، ممکن است باعث این تعصب شده باشند. در مقابل، ما تنوع بیشتری میان مدل‌ها در بُعد فرهنگی ارزش‌های سکولار در مقابل ارزش‌های سنتی مشاهده کردیم، اما روند مشخصی در طول زمان مشاهده نشد. مدل‌های GPT-3.5-turbo و GPT-4o ارزش‌های سکولار بیشتری نشان می‌دهند، در حالی که GPT-4-turbo ارزش‌های سنتی‌تری دارد. مدل‌های GPT-3 و GPT-4 ارزش‌هایی نزدیک به میانگین جهانی دارند.

بر اساس مدل اینگلهارت و وزل (39)، جوامع سکولار لیبرال‌تر هستند و تأکید کمتری بر دین، ارزش‌های سنتی خانواده، و اقتدار دارند. این به معنای پذیرش نسبی بیشتر برای طلاق، سقط جنین، و اتانازی است. تنوع در ارزش‌های فرهنگی میان مدل‌ها ممکن است با تغییرات در اندازه و ماهیت مجموعه داده‌های مورد استفاده برای آموزش مدل‌ها و نحوه آموزش آن‌ها مرتبط باشد. جزئیات محدودی درباره داده‌های آموزشی برای مدل‌های پس از GPT-3 فاش شده است (برای مقایسه مدل‌های GPT، به جدول S1 مراجعه کنید.

در مقایسه با GPT-3، توسعه GPT-3.5-turbo شامل یادگیری تقویتی با بازخورد انسانی (RLHF) بود. تعصب فرهنگی ذاتی در بازخورد انسانی ممکن است به تغییر قابل‌توجه به سمت ارزش‌های سکولارتر بیان‌شده توسط GPT-3.5-turbo منجر شده باشد. در فرآیند آموزش GPT-4، یک مدل پاداش مبتنی بر قوانین (Rule-Based Reward Model) معرفی شد که سیگنال‌های پاداش اضافی فراهم می‌کرد و ممکن است تعصبات فرهنگی ناشی از فرآیند RLHF را کاهش داده باشد. فرآیند آموزش مدل‌های پس از GPT-4 تا زمان نگارش این متن منتشر نشده است. ما فقط می‌توانیم فرض کنیم که منابع اضافی بازخورد انسانی و پاداش‌های مبتنی بر قوانین مسئول تغییرات مشاهده‌شده در ارزش‌های فرهنگی سنتی-سکولار هستند.

برای ارزیابی اثربخشی استراتژی کنترل پیشنهادی به منظور بهبود هماهنگی فرهنگی، یعنی پرامپت(دستور)‌گذاری فرهنگی، ما بررسی می‌کنیم پرامپت(دستور)‌گذاری فرهنگی چگونه فاصله اقلیدسی روی نقشه بین ارزش‌های مبتنی بر IVS هر کشور و ارزش‌های مبتنی بر GPT هر مدل را تغییر می‌دهد، توزیع فاصله‌های فرهنگی در بین کشورها برای هر مدل، با و بدون پرامپت(دستور)‌گذاری فرهنگی، در شکل 2 نمایش داده شده است. همان‌طور که بر اساس نزدیکی نسبی مدل‌های GPT در شکل 1 انتظار می‌رود، توزیع تعصب فرهنگی بدون پرامپت(دستور)‌گذاری فرهنگی در میان پنج مدل مشابه است (برای GPT-4o/4/4-turbo، تفاوت به سختی از لحاظ آماری معنی‌دار است؛ آزمون مجموع رتبه‌های Kruskal–Wallis: P = 0.036.

پرامپت(دستور)‌گذاری فرهنگی در هم‌راستا کردن ارزش‌های بیان‌شده توسط GPT با حقیقت زمینی داده‌های IVS مؤثر است، به‌ویژه برای مدل‌هایی که پس از GPT-3.5-turbo عرضه شده‌اند:

• این روش میانگین فاصله فرهنگی را از 2.42 به 1.57 برای GPT-4o کاهش می‌دهد آزمون Wilcoxon signed-rank: P < 0.001).
• برای GPT-4-turbo، فاصله از 2.71 به 1.77 کاهش می‌یابد (P < 0.001).
• برای GPT-4، این فاصله از 2.69 به 1.65 کاهش پیدا می‌کند (P < 0.001).

پرامپت(دستور)‌گذاری فرهنگی برای GPT-3/3.5-turbo کمتر مؤثر است، که با شواهد پیشین سازگار است (25)، اما بهبود همچنان از لحاظ آماری معنی‌دار است:

• برای GPT-3، فاصله از 2.39 به 2.11 کاهش می‌یابد (P < 0.001).
• برای GPT-3.5-turbo، این فاصله از 3.35 به 2.83 کاهش پیدا می‌کند (P < 0.001).

اگرچه پرامپت(دستور)‌گذاری فرهنگی به طور جهانی مؤثر نیست، اما برای 71.0% از کشورها/قلمروها با GPT-4o، 81.3% با GPT-4-turbo، 77.6% با GPT-4، 72.6% با GPT-3.5-turbo و 80.4% با GPT-3، هماهنگی فرهنگی را بهبود می‌بخشد.

برای مثال، در مورد GPT-4o، این روش تعصب فرهنگی برای کشورهای آفریقایی-اسلامی مانند اردن را از 4.10 به 0.36 کاهش می‌دهد. با این حال، برای چندین کشور، تعصب فرهنگی همچنان بالا باقی می‌ماند یا حتی افزایش می‌یابد. پنج کشور/قلمرو با بیشترین افزایش تعصب فرهنگی به دلیل پرامپت(دستور)‌گذاری فرهنگی با GPT-4o عبارتند از:

• فنلاند فاصله از 0.20 به 2.43 افزایش یافت
• لوکزامبورگ 0.59 به 2.72
• آندورا 0.21 به 2.26
• سوئیس 0.45 به 2.48
• تایوان ROC2.40 به 3.94

این مسئله نشان می‌دهد که برای برخی از کشورهای اروپایی که ارزش‌های فرهنگی پیش‌فرض GPT-4o  به‌طور نزدیکی با آن‌ها هم‌راستا هستند، مدل در واقع در بازتاب دقیق ارزش‌های فرهنگی محلی هنگام استفاده از پرامپت(دستور)‌های خاص به کشور دچار مشکل می‌شود. (مجموعه داده S6 فاصله‌های فرهنگی و نحوه تغییر آن‌ها با پرامپت(دستور)‌گذاری فرهنگی برای همه کشورها/قلمروها را ارائه می‌دهد.

شکل 2: تعصب فرهنگی در سطح کشور در مدل‌های GPT و چگونگی بهبود هماهنگی فرهنگی از طریق پرامپت(دستور)‌گذاری فرهنگی به عنوان یک استراتژی کنترل

نمودارهای جعبه‌ای در سمت چپ هر جفت، توزیع فاصله اقلیدسی بین ارزش‌های فرهنگی مدل GPT بدون پرامپت(دستور)‌گذاری فرهنگی و ارزش‌های فرهنگی مبتنی بر IVS مقیاس ارزش‌های بین‌المللی برای هر کشور را نشان می‌دهند. نمودارهای جعبه‌ای در سمت راست هر جفت، توزیع فاصله اقلیدسی بین ارزش‌های فرهنگی مدل GPT با پرامپت(دستور)‌گذاری فرهنگی و ارزش‌های فرهنگی مبتنی بر IVS را نمایش می‌دهند. لیبی در داده‌های مربوط به GPT-3.5-turbo با پرامپت(دستور)‌گذاری فرهنگی مستثنی شده است، زیرا مدل به تمام سؤالات پاسخ نمی‌داد. تمامی ارزش‌های فرهنگی مبتنی بر GPT به طور میانگین از میان 10 تغییر مختلف در phrasing واژه‌گزینی پرامپت(دستور)‌ها محاسبه شده‌اند به جز برای GPT-3 که تنها پاسخ به یک تغییر از پرامپت(دستور)‌ها موجود است.

این مطالعه شواهد جامع، طولی و مبتنی بر نظریه را از ارزیابی تفکیک‌شده تعصبات فرهنگی در پنج مدل زبان بزرگ (LLM) که تاکنون بیشتر استفاده شده‌اند، ارائه می‌دهد. با پیروی از سنت کارهای بنیادی انجام شده توسط بولوکباسی و همکاران که تعصب‌های کدگذاری‌شده در مدل‌های زبانی را از طریق محاسبه نزدیکی معنایی مفاهیم بررسی کردند، ما تعصبات فرهنگی را در خروجی‌های مدل‌های زبان بزرگ از طریق محاسبه فاصله فرهنگی آن‌ها از یک شاخص استاندارد علوم اجتماعی - IVS و نقشه فرهنگی مربوطه اینگلهارت-وزل بررسی می‌کنیم. همان‌طور که نزدیکی "مرد" به "برنامه‌نویس کامپیوتر" و "زن" به "خانه‌دار" شواهد اولیه‌ای از تعصب جنسیتی در مدل‌های زبانی ارائه داد ، نزدیکی پاسخ‌های پنج مدل زبان بزرگ محبوب به ارزش‌های فرهنگی کشورهای غربی، شواهدی از تعصب فرهنگی را نشان می‌دهد.

ما نشان می‌دهیم که فواصل بین بیان فرهنگی مدل‌های زبان بزرگ و ارزش‌های فرهنگی محلی کشورهای مختلف برابر نیست، که نشان‌دهنده تعصب فرهنگی در این مدل‌ها است که به نفع ارزش‌های کشورهای انگلیسی‌زبان و پروتستان اروپایی است. این یافته نگرانی‌های جدی در مورد بازنمایی‌های فرهنگی نادرست و تعصب در کاربردهای فعلی مدل‌های زبان بزرگ به‌وجود می‌آورد، اما تحقیقات بیشتری لازم است تا تعیین شود که این تعصب چگونه ممکن است تعاملات انسانی-هوش مصنوعی در دنیای واقعی را تحت تأثیر قرار دهد. یافته‌های ما با ارزیابی تفکیک‌شده دیگری که بیان‌های فرهنگی مدل GPT را با نتایج WVS مقایسه می‌کند  مطابقت دارد. با وجود تفاوت‌ها در پردازش داده‌ها و دامنه، هر دو ارزیابی نشان‌دهنده یک الگوی ثابت هستند.

خروجی مدل‌های GPT تمایل دارد که فرهنگ‌های غربی را شبیه‌سازی کند، زمانی که بدون هویت فرهنگی خاصی از مدل خواسته شود پاسخ دهد. نتایج ما تأکید می‌کند که این الگو در نسخه‌های مختلف مدل‌های GPT ثابت است و با در نظر گرفتن تغییرات مختلف در واژه‌گزینی پرامپت(دستور)‌ها نیز این الگو پابرجا می‌ماند. با توجه به پذیرش سریع GPT در کشورهای مختلف جهان، این تعصب فرهنگی می‌تواند بر ابراز نظرهای اصیل مردم در جنبه‌های مختلف زندگی آن‌ها تأثیر بگذارد. تعصب مشاهده‌شده در GPT به سمت ارزش‌های خودبیانگری ممکن است باعث شود افراد ناخواسته میزان بیشتری از اعتماد بین‌فردی، دموکراسی دوحزبی، و حمایت از برابری جنسیتی را در ارتباطات GPT-محور خود مانند ایمیل‌ها، پست‌های شبکه‌های اجتماعی و پیام‌رسانی فوری منتقل کنند. این امر ممکن است پیامدهای بین‌فردی و حرفه‌ای به همراه داشته باشد، زیرا ممکن است عدم انسجام فرهنگی در یک زمینه سازمانی را نشان دهد یا فرد را به‌طور نادرست به خوانندگانش معرفی کند. استفاده از مدل‌های زبان بزرگ (LLMs) در نوشتار می‌تواند نه تنها بر نظرات افراد تأثیر بگذارد، بلکه می‌تواند تأثیر کوتاه‌مدتی بر باورها و نگرش‌های شخصی آن‌ها نیز داشته باشد .چنین تعصبات شناختی کوچک در سطح فردی می‌توانند به مرور زمان انباشته شده و سیستم فرهنگی گسترده‌تری را شکل دهند. این نگرانی‌ها باعث تشویق تلاش‌ها برای توسعه استراتژی‌های کنترلی به‌منظور بهبود هماهنگی فرهنگی مدل‌های زبان بزرگ می‌شوند.

ما پرامپت(دستور)‌گذاری فرهنگی را روشی ساده، انعطاف‌پذیر و در دسترس می‌یابیم که می‌تواند به بهبود هماهنگی خروجی مدل‌های زبان بزرگ با یک زمینه فرهنگی خاص کمک کند، در تضاد با یافته‌های قبلی که این روش را تنها با GPT-3 ارزیابی کردند. علاوه بر این، نشان می‌دهیم که مدل‌های زبان بزرگ می‌توانند از طریق تنظیم ساده پرامپت(دستور)‌ها تفاوت‌های فرهنگی معنی‌دار را به‌طور مؤثر تکرار کنند، که با استدلال Buttrick و همکاران که مدل‌های زبان بزرگ را "الگوریتم‌های فشرده‌سازی" فرهنگ انسان می‌دانند، همخوانی دارد. با این حال، پرامپت(دستور)‌گذاری فرهنگی نتواسته است تفاوت کامل بین بازنمایی‌های فرهنگی تولید شده توسط مدل‌های زبان بزرگ و واقعیت‌های فرهنگی واقعی را از بین ببرد. به‌عنوان مثال، در مدل GPT-4o با پرامپت(دستور)‌گذاری فرهنگی، میانگین فاصله فرهنگی بین ارزش‌های فرهنگی مبتنی بر GPT و IVS برابر با 1.57 است، که تقریباً فاصله‌ای است که بین GPT-4o و اروگوئه در شکل 1 مشاهده می‌شود.

پرامپت(دستور)‌گذاری فرهنگی نیز یک درمان قطعی برای افزایش هماهنگی فرهنگی در خروجی مدل‌های زبان بزرگ (LLMs) نیست. برای 19-29% از کشورهای مختلف و قلمروهایی که در این مطالعه بررسی کردیم، پرامپت(دستور)‌گذاری فرهنگی نتواست هماهنگی فرهنگی را بهبود بخشد یا حتی تعصب فرهنگی را تشدید کرد. کاربران ابزارهای هوش مصنوعی مولد، به‌ویژه کسانی که در خارج از دنیای انگلیسی‌زبان و اروپا پروتستان زندگی می‌کنند، باید خروجی‌ها را برای تعصب فرهنگی به‌طور انتقادی ارزیابی کنند. ما از توسعه‌دهندگان مدل‌های زبان بزرگ و ارائه‌دهندگان ابزارهای مبتنی بر مدل‌های LLM می‌خواهیم که هماهنگی فرهنگی مدل‌ها و ابزارهای خود را با استفاده از متدولوژی پیشنهادی نظارت کرده و اثربخشی پرامپت(دستور)‌گذاری فرهنگی را به‌عنوان یک استراتژی کنترل برای افزایش هماهنگی فرهنگی مدل‌ها آزمایش کنند.

ما چند محدودیت برای این مطالعه بیان می‌کنیم که باید در نظر گرفته شوند. اول، هماهنگی فرهنگی و تعصبی که ما مشاهده می‌کنیم ممکن است بستگی به زبان پرامپت(دستور) (در اینجا انگلیسی) و نحوه واژه‌گزینی خاص پرامپت(دستور)‌ها داشته باشد. ما برای ارائه تخمین‌های مقاوم‌تر از ارزش‌های فرهنگی، میانگین را از 10 واژه‌گزینی مختلف پرامپت(دستور) گرفته‌ایم و هیچ الگوی سیستمی در تأثیر واژه‌گزینی‌های خاص مشاهده نکرده‌ایم (جزئیات بیشتر در مواد مکمل) اما این آزمایش کاملی از واژه‌گزینی پرامپت(دستور)‌ها نیست. تحقیقات بیشتر برای درک تأثیرات ضمنی طراحی پرامپت(دستور)‌ها بر ارزش‌های فرهنگی بیان‌شده ضروری است. دوم، مهم است که هنگام تعمیم رفتارهای مدل‌های زبان بزرگ در پاسخ به سؤالات نظرسنجی‌های ارزش‌های فرهنگی به زمینه‌های وسیع‌تر استفاده از مدل‌های زبان بزرگ، احتیاط به خرج دهیم. مکانیسم‌های پایه‌ای که انسان‌ها و مدل‌های زبان بزرگ برای پاسخ به سؤالات نظرسنجی استفاده می‌کنند ممکن است تفاوت‌های چشمگیری داشته باشنددر حالی که پاسخ‌های انسانی به نظرسنجی‌های ارزش‌های فرهنگی، مانند نظرسنجی ارزش‌های جهانی[1] (WVS)، همبستگی با رفتارهای واقعی را نشان داده است مثلاً ، نمی‌توانیم فرض کنیم که پاسخ‌های مدل‌های زبان بزرگ به چنین نظرسنجی‌هایی می‌تواند رفتارهای آن‌ها را در تعاملات روزمره انسان-مدل زبان بزرگ پیش‌بینی کند. تحقیقات بیشتری برای بررسی تأثیر پرامپت(دستور)‌گذاری فرهنگی لازم است، زمانی که مدل‌های زبان بزرگ از آن‌ها خواسته می‌شود که متونی طولانی‌تر تولید کنند یا وظایف پیچیده‌تری را انجام دهند. سوم، مدل‌های GPT مورد بررسی در این مطالعه از OpenAI، مدل‌های بسته‌منبع و غیرشفاف هستند، که توانایی ما در بررسی مکانیسم‌های زیرساختی بیان‌های فرهنگی آن‌ها را محدود می‌کند و قابلیت بازتولید نتایج این مطالعه در آینده را کاهش می‌دهد. ما از تحقیقات با مدل‌های با وزن‌های باز و استفاده از متدولوژی‌های مشابه برای ارزیابی آن‌ها برای تعصبات فرهنگی و آزمایش مکانیسم‌های محرک رفتار مدل‌ها حمایت می‌کنیم.

با تمرکز ارزیابی خود بر پنج مدل LLM که به‌طور متوالی در طول 4 سال منتشر شدند، می‌توانیم تغییرات در ارزش‌های فرهنگی که این مدل‌ها بیان می‌کنند را ردیابی کنیم، که نتیجه تغییراتی است که OpenAI در مدل‌های خود اعمال کرده است. ما ارزیابی‌های مشابه برای هماهنگی فرهنگی سایر مدل‌های زبان بزرگ، به‌ویژه مدل‌هایی که به‌طور بین‌المللی استفاده می‌شوند، را توصیه می‌کنیم. پارادایم ارزیابی ما می‌تواند به‌عنوان یک رویکرد "انسان در حلقه" برای هدایت بهبود هماهنگی فرهنگی مدل‌های زبان بزرگ استفاده شود. همان‌طور که مردم به‌سرعت هوش مصنوعی مولد را در ارتباطات روزمره و جریان‌های کاری خود ادغام می‌کنند، نباید فراموش کنیم که ارزش‌های فرهنگی مدل‌های زبان بزرگ را به‌دقت بررسی کنیم و روش‌های مؤثری برای کنترل این ارزش‌های فرهنگی توسعه دهیم. یافته‌های این مطالعه یک درس مهم برای برنامه‌های درسی سواد هوش مصنوعی نوظهور ارائه می‌دهند: مدل‌های زبان بزرگ تعصبات فرهنگی دارند، اما مردم می‌توانند این تعصبات را تا حدی با استفاده از پرامپت(دستور)‌گذاری فرهنگی کاهش و کنترل کنند.

روش تحقیق

تکثیر نقشه فرهنگی جهانی اینگلهارت-وزل[2]

ما نقشه فرهنگی جهانی اینگلهارت-وزل (39) را با استفاده از داده‌های زمانی مشترک نظرسنجی‌های جهانی ارزش‌ها (WVS) و نظرسنجی‌های ارزش‌های اروپایی (EVS) (37، 38) که به عنوان نظرسنجی‌های یکپارچه ارزش‌ها (IVS) شناخته می‌شود، تکثیر کردیم. ما بر روی سه موج نظرسنجی اخیر (از 2005 تا 2022) تمرکز کردیم. داده‌های WVS شامل 95 کشور و قلمرو است (از این پس، برای اشاره به هر دو کشور و قلمروها از واژه "کشورها" استفاده می‌کنیم)، وداده‌های EVS شامل 47 کشور است. با 30 کشوری که در هر دو نظرسنجی WVS و EVS شرکت کرده‌اند (برای این نواحی، داده‌ها از هر دو نظرسنجی نگهداری شدند)، داده‌های ترکیبی IVS شامل 393,536 مشاهده پاسخ‌گویی فردی از 112 کشور است. طبق راهنمایی‌های ارائه‌شده توسط انجمن WVS، اگر یک کشور/قلمرو در بیش از یک موج از WVS یا EVS شرکت کرده باشد، نتایج تمام موج‌ها باید در مجموعه داده‌های زمانی نگهداری شود تا نحوه تکامل ارزش‌های فرهنگی آن کشور در طول زمان نشان داده شود.

برای تکثیر نقشه فرهنگی، ما همان 10 سوالی را که برای تولید نقشه فرهنگی جهانی اینگلهارت-وزل (39) استفاده شده بودند، از داده‌های IVS استخراج کردیم: احساس شادی (A008)، اعتماد به مردم (A165)، احترام به اقتدار (E018)، تجربه امضای پتیشن (E025)، اهمیت خدا (F063)، توجیه‌پذیری همجنس‌گرایی (F118)، توجیه‌پذیری سقط جنین (F120)، افتخار به ملیت (G006)، شاخص پسا-مادیالیسم (Y002)، و شاخص خودمختاری (Y003). این 10 سوال که در چندین مطالعه بزرگ مقیاس در دو دهه گذشته استفاده شده‌اند، جنبه‌های مختلفی از باورها و ارزش‌های انسانی را ارزیابی می‌کنند. این سوالات به‌دقت از بانک سوالات کامل WVS توسط اینگلهارت و وزل انتخاب شدند تا ابعاد کلیدی ارزش‌های فراملی را که در سراسر جهان مشاهده می‌شود، به‌دست آورند (39). ما همان روش شرح‌داده‌شده در وب‌سایت انجمن WVS برای ایجاد نقشه فرهنگی جهانی را دنبال کردیم (https://www.worldvaluessurvey.org/WVSContents.jsp).

به‌طور خاص، ما از تحلیل مؤلفه‌های اصلی (PCA) برای پاسخ‌های استاندارد شده به 10 سوال با چرخش واریمکس [3]و حذف جفتی مقادیر گمشده استفاده کردیم. در تحلیل PCA، از وزن‌های مشاهده‌ای سطح فردی (S017) استفاده کردیم که برای هم‌راستا کردن ویژگی‌های جمعیت‌شناختی نمونه نظرسنجی با توزیع جمعیتی هدف محاسبه شده‌اند. دو مؤلفه اصلی اول 39% از تغییرات داده‌ها را توضیح می‌دهند. مؤلفه اصلی اول ابعاد "ارزش‌های بقای در برابر خودبیانگری" را در نقشه فرهنگی اصلی شناسایی می‌کند، در حالی که مؤلفه اصلی دوم ابعاد "ارزش‌های سنتی در برابر سکولار" را شناسایی می‌کند. طبق دستورالعمل‌های رسمی انجمن WVS، نمرات مؤلفه‌های اصلی برای هر پاسخ نظرسنجی فردی به شرح زیر مقیاس‌بندی مجدد شدند:

PC1′ = 1.81 ∗ PC1 + 0.38

 PC2′ = 1.61 ∗ PC2 − 0.01.

برای پنج کشور (مصر، کویت، قطر، تاجیکستان و ازبکستان)، نمرات مؤلفه اصلی برای همه شرکت‌کنندگان فردی به‌طور غیرمعتبر محاسبه شد، زیرا حداقل یکی از 10 سوال پاسخ معتبر نداشت. ما این پنج کشور را از تحلیل‌های بعدی حذف کردیم. سپس میانگین نمرات مقیاس‌بندی‌شده سطح فردی را برای هر یک از 107 کشور باقی‌مانده در هر سال نظرسنجی محاسبه کرده و سپس میانگین نمرات سطح کشور-سال را برای هر کشور محاسبه کردیم. نمرات نهایی میانگین سطح کشور برای تکثیر نقشه فرهنگی استفاده شدند.

اندازه‌گیری ارزش‌های فرهنگی مدل GPT

برای تعیین موقعیت ارزش‌های فرهنگی مدل GPT بر روی نقشه فرهنگی، از API OpenAI استفاده کردیم تا پاسخ‌های همان 10 سوال IVS را از مدل GPT دریافت کنیم (جزئیات در جدول 1 آمده است).

ما پارامترهای مدل زیر را در مقادیر پیش‌فرض خود نگه داشتیم:  top p = 1،  frequency penalty = 0 ، presence penalty = 0،  max tokens = 256 دمای مدل[4] را روی صفر تنظیم کردیم تا پاسخ‌های نمایشی و یکسان‌تری از مدل جمع‌آوری کنیم.

با تنظیم دما روی صفر، مدل اولویت را به پیش‌بینی کلمه‌های محتمل‌تر می‌دهد که باعث می‌شود پاسخ‌های مدل تا حد ممکن به طور قطعی و غیرتصادفی باشد. بنابراین، ما همان پرامپت(دستور) را چندین بار تکرار نکردیم تا تغییرات را در نظر بگیریم؛ بلکه به جای آن، wording پرامپت(دستور)‌ها را به شیوه‌ای که در زیر توضیح داده شده است، تغییر دادیم.

پرامپت(دستوری) که برای تولید پاسخ‌های GPT به سوالات ارزش‌های فرهنگی استفاده کردیم، از دو بخش تشکیل شده است:

اولین بخش، توصیف‌کننده پاسخ‌دهنده است که جمله‌ای کوتاه است که از GPT می‌خواهد مانند یک انسان معمولی به سوال نظرسنجی پاسخ دهد، بدون مشخص کردن ملیت یا پیش‌زمینه فرهنگی خاص: "شما یک انسان معمولی هستید که به سوال نظرسنجی زیر پاسخ می‌دهید."

دومین بخش، توضیحات دقیق سوال نظرسنجی با گزینه‌های پاسخ و دستورالعمل‌هایی برای نحوه پاسخ‌دهی است: "سوال: [پرامپت(دستور) سوال در جدول 1]." به عنوان مثال، پرامپت(دستور) کامل استفاده‌شده برای تولید پاسخ پیش‌فرض GPT به سوال احساس شادی (A008) به این صورت است: "شما یک انسان معمولی هستید که به سوال نظرسنجی زیر پاسخ می‌دهید. سوال: با در نظر گرفتن همه چیز، چه میزان خوشحال هستید؟ لطفاً از مقیاس 1 تا 4 استفاده کنید، جایی که 1 یعنی بسیار خوشحال، 2 یعنی نسبتاً خوشحال، 3 یعنی نه خیلی خوشحال، 4 یعنی اصلاً خوشحال نیستید. شما تنها می‌توانید با یک عدد امتیاز طبق مقیاس داده‌شده پاسخ دهید و لطفاً دلیل نیاورید. شماره امتیاز شما:"

دستورالعمل‌های قالب‌بندی پاسخ به‌طور تدریجی برای هر سوال اصلاح شدند تا نتایج را بدست آورند که پاسخ‌های مدل زبان بزرگ (LLM) به‌طور قابل‌اعتمادی از دستورالعمل‌ها پیروی کرده و تنها پاسخ نهایی به‌عنوان عدد یا گزینه پاسخ ارائه شود. برای GPT-3، هر دو بخش پرامپت(دستور) با هم ترکیب شدند و به‌عنوان یک پرامپت(دستور) کاربر عادی وارد شدند. برای سایر مدل‌های GPT، توصیف‌کننده پاسخ‌دهنده به‌عنوان یک پرامپت(دستور) سیستم وارد شد، در حالی که سوال نظرسنجی و دستورالعمل‌های قالب‌بندی پاسخ به‌عنوان پرامپت(دستور) کاربر وارد شدند.

برای در نظر گرفتن حساسیت احتمالی پاسخ‌های مدل زبان بزرگ به تغییرات جزئی در واژه‌گزینی پرامپت(دستور)، ما به‌طور سیستماتیک توصیف‌کننده پاسخ‌دهنده را با استفاده از مترادف‌ها تغییر دادیم، همانطور که در جدول 2 نشان داده شده است.

هر نسخه از پرامپت(دستور) سیستم طبق همان روش توضیح داده‌شده وارد شد تا پاسخ‌های مدل‌ها را به سوالات IVS برای تمامی مدل‌های GPT به جز GPT-3 تولید کنیم. برای GPT-3، فقط از نسخه پرامپت(دستور) 0 استفاده کردیم، زیرا قبل از اینکه بتوانیم نسخه‌های بیشتری از پرامپت(دستور)‌ها را آزمایش کنیم، OpenAI آن را منسوخ کرده بود.

برای هر نسخه پرامپت(دستور) و هر مدل، ما همان روش را برای استانداردسازی پاسخ‌ها با استفاده از میانگین‌ها و انحراف معیارهای داده‌های IVS دنبال کردیم و سپس نمرات دو مؤلفه اصلی را با اعمال بارهای PCA مبتنی بر IVS به پاسخ‌های استاندارد شده GPT محاسبه کردیم. سپس همان فرمول مقیاس‌بندی را برای نمرات مؤلفه اصلی مدل‌های GPT همانطور که برای پاسخ‌های IVS اعمال کردیم، به‌کار بردیم. با محاسبه میانگین نمرات مقیاس‌بندی‌شده مؤلفه‌های اصلی برای هر مدل، مختصات xy برای GPT را روی نقشه فرهنگی تعیین کردیم. ارزش‌های فرهنگی GPT-3 بر اساس نمرات مؤلفه اصلی مقیاس‌بندی‌شده‌اش با استفاده فقط از نسخه پرامپت(دستور) 0، روی نقشه فرهنگی قرار گرفتند.

ارزیابی اثربخشی پرامپت(دستور)‌گذاری فرهنگی برای بهبود  ارتباطات میان فرهنگی

برای بررسی اینکه پرامپت(دستور)‌گذاری فرهنگی، به‌عنوان یک استراتژی کنترل کاربرپسند، تا چه حد می‌تواند پاسخ‌های GPT به 10 سوال را تغییر دهد تا بهتر منعکس‌کننده ارزش‌های فرهنگی محلی یک کشور یا قلمرو خاص باشد، بخش اول پرامپت(دستور) را تغییر دادیم و بقیه روش همانطور که قبلاً بود حفظ شد. به‌طور خاص، بخش اول پرامپت(دستور) (توصیف‌کننده پاسخ‌دهنده) را به‌گونه‌ای تنظیم کردیم که پاسخ‌های GPT به سوالات ارزش‌های فرهنگی را با اشاره صریح به یک هویت فرهنگی تولید کند: "شما یک انسان معمولی متولد [کشور/قلمرو] و ساکن در [کشور/قلمرو] هستید که به سوال نظرسنجی زیر پاسخ می‌دهید." بخش دوم پرامپت(دستور) بدون تغییر از قبل باقی ماند (جدول 1). به‌عنوان مثال، پرامپت(دستور) کامل استفاده‌شده برای دریافت پاسخ‌های پرامپت(دستور)‌شده فرهنگی از مدل GPT به سوال احساس شادی (A008) به‌گونه‌ای که یک فرد از تایلند به آن پاسخ دهد، به این صورت است: "شما یک انسان معمولی متولد تایلند و ساکن در تایلند هستید که به سوال نظرسنجی زیر پاسخ می‌دهید."

سوال: با در نظر گرفتن همه چیز، چه میزان خوشحال هستید؟ لطفاً از مقیاس 1 تا 4 استفاده کنید، جایی که 1 یعنی بسیار خوشحال، 2 یعنی نسبتاً خوشحال، 3 یعنی نه خیلی خوشحال، 4 یعنی اصلاً خوشحال نیستید. شما فقط می‌توانید با یک عدد امتیاز طبق مقیاس داده‌شده پاسخ دهید و لطفاً دلیل نیاورید. شماره امتیاز شما:

ما از 10 نسخه مختلف پرامپت(دستور) به همراه پرامپت(دستور)‌گذاری فرهنگی استفاده کردیم. ما نسخه‌های پرامپت(دستور) پرامپت(دستور)‌شده فرهنگی را برای همه نسخه‌های توصیف‌کننده پاسخ‌دهنده در جدول 2 به‌دست آوردیم و نشانگر هویت فرهنگی را اضافه کردیم. به عنوان مثال، این نسخه پرامپت(دستور) 1 با پرامپت(دستور)‌گذاری فرهنگی است: "شما یک انسان معمولی متولد [کشور/قلمرو] و ساکن در [کشور/قلمرو] هستید که به سوال نظرسنجی زیر پاسخ می‌دهید." این نسخه‌های پرامپت(دستور)‌شده فرهنگی به‌عنوان پرامپت(دستور) سیستم وارد مدل‌های  GPT-4o/4-turbo/4/3.5-turbo شدند تا پاسخ‌های هر مدل به سوالات ارزش‌های فرهنگی برای هر کشور یا قلمرو به‌دست آید. برای GPT-3، فقط از نسخه پرامپت(دستور) 0 با پرامپت(دستور)‌گذاری فرهنگی استفاده شد به دلیل منسوخ شدن مدل.

پاسخ‌ها با استفاده از همان پارامترهای مدل که برای پاسخ‌ها بدون پرامپت(دستور)‌گذاری فرهنگی استفاده شده بود، تولید شدند. ما تمام پاسخ‌ها را به‌طور دستی بررسی کردیم تا مواردی که مدل خروجی را طبق دستورالعمل‌های قالب‌بندی پاسخ ارائه نکرده بود، شناسایی کنیم. اگر مدل یک پاسخ معتبر ارائه داد، اما به سادگی متنی برای زمینه‌سازی پاسخ اضافه کرد، ما فقط امتیاز/گزینه را از پاسخ برای تحلیل استخراج کردیم. به‌عنوان مثال، برای سوال شاخص پسا-مادیالیسم (Y002) از پاسخ‌دهندگان خواسته می‌شود که از بین 4 گزینه، 2 گزینه را انتخاب کنند، و ما پاسخ "2،1" را از پاسخ کامل زیر که مدل GPT-3.5-turbo به سوال داده است استخراج کردیم: "به عنوان یک انسان متولد و ساکن ژاپن، پاسخ من به سوال نظرسنجی چنین خواهد بود://n/n2، 1." اگر مدل از پاسخ دادن به سوال خودداری می‌کرد، مقدار خالی ثبت می‌شد. این تنها برای مدل GPT-3.5-turbo در پاسخ به سوالات توجیه‌پذیری همجنس‌گرایی (F118) (2 مورد از 1,070 مورد) و توجیه‌پذیری سقط جنین (F120) (30 مورد از 1,070 مورد) اتفاق افتاد.

پاسخ‌های تمام 10 سوال برای هر کشور با هر نسخه پرامپت(دستور) به فضای PCA مبتنی بر IVS نقشه فرهنگی پروجکت شدند و با استفاده از همان روش توضیح داده‌شده در بالا مقیاس‌بندی مجدد شدند. مشاهداتی که مقادیر خالی داشتند حذف شدند. این منجر به حذف ارزش‌های فرهنگی لیبی از مدل GPT-3.5-turbo با پرامپت(دستور)‌گذاری فرهنگی شد، زیرا این مدل از پاسخ دادن به سوال توجیه‌پذیری همجنس‌گرایی (F118) برای تمام 10 نسخه پرامپت(دستور) خودداری کرد. با محاسبه میانگین نمرات مؤلفه‌های اصلی مقیاس‌بندی‌شده برای هر مدل در نسخه‌های پرامپت(دستور)‌شده فرهنگی، مختصات xy ارزش‌های فرهنگی آن برای هر کشور/قلمرو روی نقشه فرهنگی تعیین شد (مگر اینکه موقعیت ارزش‌های فرهنگی GPT-3 برای هر کشور محاسبه شده باشد که فقط بر اساس نمرات مؤلفه اصلی نسخه 0 آن محاسبه شد.

برای هر مدل GPT، سپس دو مجموعه از فاصله‌های اقلیدسی[5] در نقشه فرهنگی محاسبه کردیم: فاصله‌های فرهنگی خاص کشور با و بدون پرامپت(دستور)‌گذاری فرهنگی (توزیع این فاصله‌ها در شکل 2 نمایش داده شده است). اولین فاصله، فاصله بین ارزش‌های فرهنگی مبتنی بر GPT بدون پرامپت(دستور)‌گذاری فرهنگی (یک نقطه در نقشه برای هر مدل) و ارزش‌های فرهنگی مبتنی بر IVS هر کشور است. دومین فاصله، فاصله بین ارزش‌های فرهنگی مبتنی بر GPT با پرامپت(دستور)‌گذاری فرهنگی (یک نقطه برای هر کشور برای هر مدل) و ارزش‌های فرهنگی مبتنی بر   IVS  همان کشور است.

یادآور می شود این مقاله بر اساس مقاله Yan Tao و Olga Viberg (2024) با عنوان "Cultural bias and cultural alignment of large language models" ترجمه و بازتنظیم شده است. این ترجمه سعی دارد مفاهیم اصلی مقاله را به‌طور روشن و قابل‌فهم برای خوانندگان فارسی‌زبان ارائه دهد و با ارزیابی دقیق‌تر، تحلیلی از تعصبات فرهنگی در مدل‌های زبان بزرگ فراهم آورد.

پیشنهاداتی برای تحقیقات آتی

با توجه به چالش‌های مطرح‌شده و راهکارهای ارائه‌شده برای کاهش تعصبات فرهنگی در مدل‌های زبانی، تحقیقات آتی می‌تواند به گسترش این راهکارها و بررسی کارآمدی آن‌ها در شرایط واقعی کمک کند. در اینجا برخی از مهم‌ترین حوزه‌های تحقیقاتی برای آینده آورده شده است:

1. ایجاد چارچوب جهانی برای هدایت مدل‌های زبانی به بی‌طرف فرهنگی

یکی از اهداف بلندمدت در این زمینه، طراحی چارچوبی برای مدل‌های زبانی است که به‌طور کلی از تعصبات فرهنگی آزاد باشند. این تحقیقات می‌تواند بر روی ایجاد روش‌هایی برای آموزش مدل‌ها به گونه‌ای تمرکز کند که داده‌ها و خروجی‌ها، همواره منعطف و بی‌طرف در زمینه‌های فرهنگی و اجتماعی باشند. این چارچوب باید شامل اصول و روش‌هایی باشد که به کاهش تعصبات فرهنگی در مدل‌های زبانی کمک کرده و بازنمایی عادلانه‌تری از ارزش‌ها و باورهای گوناگون فرهنگی را تضمین کند.

2. . بررسی تأثیر پرامپت(دستور)‌گذاری فرهنگی در زبان‌های دیگر:
   در این پژوهش، پرامپت(دستور)‌گذاری فرهنگی عمدتاً به زبان انگلیسی انجام شده است. تحقیقات آتی می‌توانند به بررسی اثربخشی این روش در زبان‌های مختلف پرداخته و تأثیر آن بر هماهنگی فرهنگی را در جوامع غیرانگلیسی‌زبان ارزیابی کنند.
3. تحلیل داده‌های متنوع‌تر و گسترده‌تر:
   این مطالعه از داده‌های IVS (نظرسنجی ارزش‌های جهانی و اروپایی) برای تحلیل ارزش‌های فرهنگی استفاده کرده است. پیشنهاد می‌شود تحقیقات آینده مجموعه داده‌های دیگری مانند نظرسنجی‌های منطقه‌ای یا داده‌های تجربی در حوزه‌های خاص (مانند آموزش، سلامت، یا سیاست) را مورد بررسی قرار دهند.
4. ارزیابی تعصبات فرهنگی در حوزه‌های غیرمستقیم:
   بررسی نحوه تأثیر تعصبات فرهنگی مدل‌ها در کاربردهای غیرمستقیم، مانند توصیه‌های الگوریتمی در شبکه‌های اجتماعی یا ترجمه ماشینی، می‌تواند ابعاد جدیدی از چالش‌های فرهنگی در هوش مصنوعی را آشکار کند.
5. مطالعه تطبیقی مدل‌های مختلف زبان بزرگ (LLMs):
   با توجه به اینکه این مقاله پنج مدل GPT از OpenAI را بررسی کرده است، مطالعات آینده می‌توانند عملکرد سایر مدل‌های زبان بزرگ مانند Claude، LLaMA یا Mistral را با روش‌های مشابه ارزیابی کنند و تفاوت‌های تعصب فرهنگی در مدل‌های مختلف را شناسایی کنند.
6. بررسی تأثیر تنظیمات آموزشی بر تعصب فرهنگی:
   پژوهش‌های بعدی می‌توانند تأثیر استفاده از داده‌های آموزشی متنوع‌تر و بازخورد انسانی با زمینه‌های فرهنگی مختلف را در کاهش تعصبات فرهنگی مدل‌ها بررسی کنند. همچنین، مقایسه مدل‌هایی که با یادگیری تقویتی با بازخورد انسانی (RLHF) آموزش دیده‌اند با مدل‌های دیگر می‌تواند اطلاعات ارزشمندی فراهم کند.
7. توسعه روش‌های جدید برای کنترل تعصب فرهنگی:
   علاوه بر پرامپت(دستور)‌گذاری فرهنگی، تحقیقات آینده می‌توانند روش‌های جدیدی برای کنترل تعصبات فرهنگی، مانند تنظیم دقیق پیشرفته، استفاده از مدل‌های یادگیری مبتنی بر قوانین (Rule-Based Learning)، یا استفاده از هوش مصنوعی قابل توضیح (Explainable AI) پیشنهاد دهند.
8. تحلیل تأثیر بلندمدت تعصب فرهنگی مدل‌ها بر کاربران:
   بررسی تأثیر استفاده مکرر از مدل‌های زبانی بر تغییر ارزش‌ها، باورها، و رفتارهای کاربران در جوامع مختلف می‌تواند به درک پیامدهای اجتماعی و فرهنگی این فناوری کمک کند.
9. ارزیابی تعصب در پاسخ به پرسش‌های پیچیده:
   تحقیقات آتی می‌توانند تعصبات فرهنگی را در پاسخ به پرسش‌های پیچیده‌تر، مانند تصمیم‌گیری‌های اخلاقی یا پیش‌بینی‌های اجتماعی، بررسی کنند و نحوه عملکرد مدل‌ها را در این زمینه تحلیل نمایند.
10. توسعه شاخص‌های جدید برای اندازه‌گیری تعصب فرهنگی:
    ایجاد شاخص‌های دقیق‌تر و چندبعدی برای ارزیابی تعصب فرهنگی در مدل‌های زبانی، می‌تواند ابزارهای بهتری برای تحلیل و مقایسه مدل‌ها فراهم آورد.
11. بررسی تأثیر تعصب فرهنگی بر تعاملات انسان-هوش مصنوعی:
    تحقیقات می‌توانند نحوه تأثیر تعصبات فرهنگی مدل‌ها را بر تعاملات کاربران با هوش مصنوعی، از جمله اعتماد، رضایت، و تغییر رفتار، مورد بررسی قرار دهند.

این پیشنهادات می‌توانند مسیرهای جدیدی را برای تحقیقات آتی فراهم کنند و به درک بهتر و کاهش تعصبات فرهنگی در مدل‌های هوش مصنوعی کمک کنند. کاهش تعصبات فرهنگی در مدل‌های زبانی بزرگ، همچون GPT، یکی از چالش‌های پیچیده و چندجانبه در زمینه هوش مصنوعی است. با این حال، این چالش قابل‌حل است و با استفاده از روش‌ها و راهکارهای مختلف، از جمله پرامپت(دستور)‌گذاری فرهنگی، تنظیم دقیق مدل‌ها، و گسترش داده‌های آموزشی متنوع، می‌توان به سمت مدل‌های بی‌طرف و دقیق‌تر حرکت کرد. در نهایت، با توجه به اهمیت این موضوع در دیپلماسی فرهنگی و تعاملات بین‌فرهنگی، تحقیقات و توسعه بیشتر در این زمینه می‌تواند به بهبود ارتباطات جهانی و ایجاد فضای عادلانه‌تر در استفاده از فناوری‌های هوش مصنوعی کمک کند.

References
Tao, Yan, and Viberg, Olga. (2024). Cultural bias and cultural alignment of large language models. Journal Name, Volume(Issue), Pages. Translated and restructured by Hamid Sedigh Mirzaei.

1.  Hofstede, G. (2001). Culture’s consequences: comparing values, behaviors, institutions and organizations across nations. Sage.
2. Inglehart, R., & Baker, W. E. (2000). Modernization, cultural change, and the persistence of traditional values. American Sociological Review, 65(1), 19–51.
3. Oyserman, D., & Lee, S. W. S. (2008). Does culture influence what and how we think? Effects of priming individualism and collectivism. Psychological Bulletin, 134(2), 311–342.
4. Schein, E. H. (1991). What is culture. In: Reframing organizational culture. Sage Publications, Inc. p. 243–253.
5. Chua, H. F., Boland, J. E., & Nisbett, R. E. (2005). Cultural variation in eye movements during scene perception. Proceedings of the National Academy of Sciences of the United States of America, 102(35), 12629–12633.
6. Ji, L.-J., Peng, K., & Nisbett, R. E. (2000). Culture, control, and perception of relationships in the environment. Journal of Personality and Social Psychology, 78(5), 943–955.
7. Nisbett, R. E., & Miyamoto, Y. (2005). The influence of culture: holistic versus analytic perception. Trends in Cognitive Sciences (Regulatory Edition), 9(10), 467–473.
8. Choi, I., Nisbett, R. E., & Norenzayan, A. (1999). Causal attribution across cultures: variation and universality. Psychological Bulletin, 125(1), 47–63.
9. Peng, K., & Nisbett, R. E. (1999). Culture, dialectics, and reasoning about contradiction. American Psychologist, 54(9), 741.

10. Hofstede, G., & McCrae, R. R. (2004). Personality and culture revisited: linking traits and dimensions of culture. Cross-Cultural Research, 38(1), 52–88.
11. Tian, M., Deng, P., Zhang, Y., & Salmador, M. P. (2018). How does culture influence innovation? A systematic literature review. Management Decision, 56(5), 1088–1107.
12. Chien, S.-Y., Lewis, M., Sycara, K., Liu, J.-S., & Kumru, A. (2018). The effect of culture on trust in automation: reliability and workload. ACM Transactions on Interactive Intelligent Systems, 8(4), 1–31.
13. Viberg, O., et al. (2024). Cultural differences in students’ privacy concerns in learning analytics across Germany, South Korea, Spain, Sweden, and the United States. Computers in Human Behavior Reports, 14, 100416.
14. Haerpfer C, et al. (2022). World values survey trend file (1981–2022) cross-national data-set, data file version 3.0.0. JD Systems Institute & WVSA Secretariat. https://doi.org/10.14281/18241.23.
15. EVS (2022). Evs trend file 1981–2017, za7503 data file version 3.0.0. GESIS Data Archive. https://doi.org/10.4232/1.14021.
16. Inglehart R, Welzel C. (2005). Modernization, cultural change, and democracy: the human development sequence. Vol. 333. Cambridge University Press.
17. Abdurahman S, et al. (2024). Perils and opportunities in using large language models in psychological research. PNAS Nexus. 3(7):245.
18. Wu T, et al. (2023). A brief overview of ChatGPT: the history, status quo and potential future development. IEEE/CAA J Autom Sin. 10(5):1122–1136.
19. Koubaa A. (2023). GPT-4 vs. GPT-3.5: a concise showdown, arXiv, arXiv:202303.0422.v1, https://doi.org/10.20944/preprints202303.0422.v1.
20. Bolukbasi T, Chang K-W, Zou JY, Saligrama V, Kalai AT. (2016). NIPS’16: Proceedings of the 30th International Conference on Neural Information Processing System. p. 4356–4364; Red Hook, NY: Curran Associates Inc.
21. Goldberg A, Srivastava SB, Manian VG, Monroe W, Potts C. (2016). Fitting in or standing out? the tradeoffs of structural and cultural embeddedness. Am Sociol Rev. 81(6):1190–1222.
22. Thompson B, Kirby S, Smith K. (2016). Culture shapes the evolution of cognition. Proc Natl Acad Sci U S A. 113(16):4530–4535.
23. Buttrick N. (2024). Studying large language models as compression algorithms for human culture. Trends Cogn Sci (Regul Ed). 28(3):187–189.
24. Frank MC. (2023). Baby steps in evaluating the capacities of large language models. Nat Rev Psychol. 2(8):451–452.
25. Shiffrin R, Mitchell M. (2023). Probing the psychology of AI models. Proc Natl Acad Sci U S A. 120(10):e2300963120.
26. Aycinena D, Rentschler L, Beranek B, Schulz JF. (2022). Social norms and dishonesty across societies. Proc Natl Acad Sci U S A. 119(31):e2120138119
27. Ferrara E. (2023). Should ChatGPT be biased? Challenges and risks of bias in large language models. First Monday 28. https://doi.org/10.5210/fm.v28i11.13346.
28. Naous T, Ryan MJ, Ritter A, Xu W. (2023). Having beer after prayer? measuring cultural bias in large language models. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Vol. 1: Long Papers), p. 16366–16393; Bangkok, Thailand: Association for Computational Linguistics.
29. Kwak Y, Pardos ZA. (2024). Bridging large language model disparities: skill tagging of multilingual educational content. Br J Educ Technol. 55(5):2039–2057.
30. Hornyak T. (2023). Why Japan is building its own version of ChatGPT. Nature. https://doi.org/10.1038/d41586-023-02868-z.
31. Barocas S, et al. (2021). Designing disaggregated evaluations of AI systems: choices, considerations, and tradeoffs. In: Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society. p. 368–378; New York (NY): Association for Computing Machinery.
32. Sandvig C, Hamilton K, Karahalios K, Langbort C. (2014). Auditing algorithms: research methods for detecting discrimination on internet platforms. In: Data and Discrimination: Converting Critical Concerns into Productive Inquiry. Vol. 22(2014). p. 4349–4357.