به گزارش روابط عمومی وزارت علوم به نقل از دانشگاه صنعتی امیرکبیر، سعیده ممتازی عضو هیئت علمی دانشکده مهندسی کامپیوتر دانشگاه و سرپرست آزمایشگاه پردازش زبان طبیعی گفت: در یک نمونه همکاری موفق میان صنعت و دانشگاه، متخصصان مرکز تحقیقات هوش مصنوعی پارت و آزمایشگاه پردازش زبان طبیعی دانشگاه صنعتی امیرکبیر جامع‌‎ترین و قدرتمندترین سیستم ارزیابی مدل‌های زبانی فارسی (Open Persian LLM Leaderboard)  را توسعه دادند.

وی افزود: با توسعه این سیستم قدرتمند ارزیابی مدل‌های زبانی فارسی، زیست‌بوم هوش مصنوعی کشور از این پس به سنجه‌ای دقیق و یکپارچه‌ برای ارزیابی LLMهای فارسی مجهز خواهند شد.

ممتازی با اشاره به ویژگی‌های این سیستم ارزیابی مدل‌های زبانی فارسی، اظهار کرد: این سیستم ارزیابی شامل بیش از 40 هزار نمونه است که بخشی از آنها از چندین بنچ‌مارک معتبر جهانی به فارسی برگردانده شده و بخشی دیگر در داخل کشور از پایه تهیه و برچسب‌زنی شده‌اند.

این عضو هیئت علمی دانشکده مهندسی کامپیوتر دانشگاه صنعتی امیرکبیر خاطرنشان کرد: دادگان ارزیابی برای این سیستم در حال افزایش و به‌روزرسانی است تا ضریب دقت در ارزیابی‌ها بهبود پیدا کند.

به گفته وی، مدل ارائه شده در این پروژه، در کنار برترین بنچ‌مارک‌های جهانی قرار می‌گیرد، ضمن اینکه بخشی از دادگان این سیستم ارزیابی (بنچ‌مارک) هم ‌کنون به صورت متن باز در دسترس عموم قرار گرفته است.

  متخصصان برای ارزیابی مدل زبانی خود و دیگران می‌توانند روی لینک زیر کلیک کنند: https://huggingface.co/spaces/PartAI/persian-llm-leaderboard