به گزارش گروه دانشگاه خبرگزاری دانشجو، به نقل از تک اکسپلور، ساختن سیستم‌های هوش مصنوعی که انسان‌ها را قویاً درک کنند، یکی از پیچیده‌ترین چالش‌ها در بینایی رایانه است. یکی از پیچیده ترین مشکلات، بازسازی مدل های سه بعدی دست انسان است، کاری با کاربردهای گسترده در رباتیک، انیمیشن، تعامل انسان و کامپیوتر، و واقعیت افزوده و مجازی. دشواری در ماهیت خود دست ها نهفته است، که اغلب در هنگام نگه داشتن اشیاء پنهان می شوند یا در طول کارهایی مانند گرفتن در جهت گیری های چالش برانگیز منحرف می شوند.

در موسسه رباتیک دانشگاه کارنگی ملون، مدل جدیدی به نام Hamba طراحی شد که در سی و هشتمین کنفرانس سالانه سیستم‌های پردازش اطلاعات عصبی (NeurIPS 2024) در ونکوور ارائه شد. هامبا رویکرد جالب توجهی را برای بازسازی دست‌های سه بعدی از یک تصویر ارائه می‌کند که نیازی به دانش قبلی در مورد مشخصات دوربین یا بافت بدن فرد ندارد.

چیزی که هامبا را متمایز می کند، انحراف آن از معماری های متداول مبتنی بر ترانسفورماتور است. در عوض، از مدل‌سازی فضای حالت مبتنی بر مامبا استفاده می‌کند و اولین باری است که چنین رویکردی برای بازسازی شکل سه‌بعدی مفصل اعمال می‌شود. این مدل همچنین فرآیند اسکن اصلی Mamba را با معرفی یک اسکن دوطرفه هدایت‌شده با گراف، که از قابلیت‌های یادگیری نمودار شبکه‌های عصبی گراف برای ثبت روابط فضایی بین مفاصل دست با دقت قابل‌توجهی استفاده می‌کند، اصلاح می‌کند.

هامبا در معیارهایی مانند FreiHAND با میانگین خطای موقعیتی در هر رأس فقط 5.3 میلی متر به عملکرد پیشرفته دست می یابد - دقتی که پتانسیل آن را برای کاربردهای دنیای واقعی نشان می دهد. علاوه بر این، در زمان پذیرش مطالعه، هامبا در دو جدول امتیازات مسابقه برای بازسازی دست سه بعدی، مقام برتر را دارد .

فراتر از دستاوردهای فنی، هامبا پیامدهای گسترده تری برای تعامل انسان و رایانه دارد. با توانمند ساختن ماشین‌ها برای درک و تفسیر بهتر دست‌های انسان، زمینه را برای سیستم‌ها و روبات‌های هوش عمومی مصنوعی (AGI) آینده فراهم می‌کند که قادر به درک احساسات و مقاصد انسان با جزئیات بیشتر هستند.

با نگاهی به آینده، تیم تحقیقاتی قصد دارد به محدودیت‌های مدل بپردازد و در عین حال پتانسیل آن را برای بازسازی مدل‌های سه بعدی انسان تمام‌بدنی از تصاویر منفرد بررسی کند - چالش مهم دیگری با کاربردهای گسترده در صنایع از مراقبت‌های بهداشتی تا سرگرمی. هامبا با ترکیب منحصربه‌فرد خود از دقت فنی و کاربرد عملی، نشان می‌دهد که چگونه هوش مصنوعی همچنان مرزهای چگونگی درک ماشین‌ها از انسان را به پیش می‌برد.

این داستان بخشی از Science X Dialog است، جایی که محققان می توانند یافته های مقالات تحقیقاتی منتشر شده خود را گزارش کنند.