پژوهش
-
پژوهش
ممیزی تخصصی نشان داد ایراد معیارهای ارزیابی می‌تواند امتیاز مدل‌های پیشرو را بیش از دو برابر تغییر دهد
متخصصان شش benchmark فیزیک را دوباره بررسی کردند و نشان دادند خطای سؤال و نمره‌دهی می‌تواند تصویر توان مدل‌های پیشرو را به‌شدت تغییر دهد.
-
پژوهش
YuE2 تولید موسیقی را با پارتیتور قابل‌ویرایش و وزن‌های عمومی ترکیب می‌کند
YuE2-3B برنامه‌ریزی نمادین، ساخت قطعه کامل روی سخت‌افزار محلی و ویرایش عاملی را ترکیب می‌کند؛ با محدودیت‌های مهم benchmark و مجوز.
-
پژوهش
K-Bench نشان می‌دهد «فراموش‌سازی» عامل می‌تواند نشتی داده را پشت پاسخ نهایی پنهان کند
K-Bench نشان می‌دهد آزمون پاسخ نهایی می‌تواند داده‌ای را که در بازیابی، ابزارها یا وضعیت اجرای عامل باقی مانده نبیند.
-
پژوهش
بنچمارک TAM ضعف GPT-5 در اجرای فرایندهای طولانی و قانون‌محور را نشان می‌دهد
TAM اجرای دستورالعمل‌های طولانی را می‌سنجد؛ GPT-5 در ICD فقط ۱٪ و در محاسبات مجازات ۱۵٫۵٪ پاسخ کاملاً درست داشته است.
-
پژوهش
GuardedAct اختیار اجرای اصلاحات زیرساختی را از مدل جدا می‌کند
GuardedAct نشان می‌دهد چگونه می‌توان اقدام پیشنهادی مدل را پیش از تغییر زیرساخت واقعی در محیط شبیه‌سازی و با کنترل مستقل ارزیابی کرد.
-
پژوهش
مدل ماهِ NASA و IBM برای استفاده عمومی منتشر شد؛ مسیر آموزش اولیه هنوز کامل باز نیست
ناسا و IBM وزن‌ها، داده‌ها و ابزارهای مدل ماه را منتشر کرده‌اند، اما مخزن عمومی کد آموزش اولیه را در بر نمی‌گیرد.
-
پژوهش
RAG-Safety-Bench نشان می‌دهد ایمنی مدل با اضافه شدن بازیابی تضمین‌شده نیست
RAG-Safety-Bench نشان می‌دهد ایمنی مدل پایه لزوماً به سامانه RAG منتقل نمی‌شود و آزمون باید خودِ فرایند بازیابی و زمینه ورودی را هم پوشش دهد.
-
پژوهش
مطالعه Emerald AI: کاهش یکسان توان برای همه کارهای آموزشی بهینه نیست
پژوهش Emerald AI با شاخص PFI نشان می‌دهد کارهای آموزش مدل زیر محدودیت توان GPU رفتار یکسانی ندارند و زمان‌بندی هدفمند می‌تواند مفید باشد.
-
پژوهش
DeFiFlowBench: فرایند به‌ظاهر درستِ عامل هم می‌تواند به معامله‌ای ناایمن برسد
DeFiFlowBench نشان می‌دهد فرایند DeFi با ساختار درست هم می‌تواند معامله پرریسک اجرا کند و کنترل نهایی باید مستقل از تولیدکننده باشد.
-
پژوهش
EBL-Core میان تأیید سیاستی عامل و اختیار واقعی اجرا مرز می‌گذارد
EBL-Core پیشنهاد می‌کند اختیار اجرای عملیات پرخطر عامل‌های هوش مصنوعی در لحظه استفاده با عمل، سیاست، شواهد و شرایط فعلی دوباره تطبیق داده شود.
