یک پیش‌چاپ تازه در arXiv می‌یابد که برخی مدل‌های زبانی بزرگ می‌توانند به‌درستی تشخیص دهند پرسش از بنیاد غیرقابل‌دانستن است و با این حال وقتی همان پرسش در پنل شواهدی حرفه‌ای‌نما پیچیده شود، اقدام مطمئن انجام دهند. در 12 مدل پیشرو، نویسنده گزارش می‌کند تعهد از 6.5% با پرسش برهنه به 54.0% بالا می‌رود وقتی شواهدی با ظاهر معتبرتر افزوده می‌شود.
نتیجه برای عواملی اهمیت دارد که روی تابلوهای اطلاعاتی، اسناد بازیابی‌شده، خوراک بازار یا گزارش‌های سبک تحلیلگر عمل می‌کنند. مقاله استدلال می‌کند شکست صرفاً دانش واقعی ضعیف یا کالیبراسیون بد احتمال نیست. دروازهٔ اقدام جداگانه‌ای است: مدل می‌تواند بداند شواهد نمی‌تواند نتیجه را حل کند و همچنان چنان رفتار کند که گویی خودِ ارائه تصمیم را توجیه می‌کند.
شواهد ساختگی می‌تواند تقریباً همان اقدام داده‌های واقعی را برانگیزد
مطالعه پرسش‌هایی می‌سازد که نتایجشان اثباتاً از اطلاعات در دسترس مدل پیش‌بینی‌ناپذیر است، سپس بافت پیرامونشان را تغییر می‌دهد. در یک دستکاری، نویسنده دادهٔ واقعی بازار را با پنلی مقایسه می‌کند که در آن هر عدد نمایش‌داده‌شده ساختگی است.
طبق پیش‌چاپ، پنل کاملاً ساختگی تعهد را از 24.5% بدون پنل به 36.8% می‌رساند. دادهٔ واقعی بازار 37.6% تولید می‌کند؛ اختلافی که مطالعه از نظر آماری غیرقابل‌تمایز گزارش می‌کند. پیامد عامدانه باریک است: در تنظیم آزموده‌شده، اعتبار و ساختار ارائه می‌تواند کافی باشد تا برخی مدل‌ها را به سوی اقدام براند، حتی وقتی شواهد هیچ اطلاعاتی دربارهٔ نتیجهٔ غیرقابل‌دانستن ندارد.
اثر همگانی نیست. مقاله گزارش می‌کند سه مدل به‌شدت مستعدند، چند مدل عمدتاً از تعهد سر باز می‌زنند، و دیگران فارغ از بافت تعهد می‌کنند. این ناهمگنی اهمیت دارد چون مانع ادعای ساده‌ای می‌شود که همهٔ عوامل LLM همان حالت شکست را دارند.
مدل‌ها اغلب می‌دانند پرسش پاسخ‌پذیر نیست
مجموعه‌ای هم‌تراز از پرسش‌های پاسخ‌پذیر کمک می‌کند قابلیت از اقدام جدا شود. نویسنده گزارش می‌کند همان مدل‌ها آن پرسش‌ها را با دقت نزدیک به کامل جواب می‌دهند وقتی اطلاعات واقعاً نتیجه را تعیین می‌کند.
مطالعه همچنین از مدل‌ها می‌خواهد پیش از اقدام طبقه‌بندی کنند که پرسش دانستی است یا نه. آن‌ها عدم‌قطعیت کاهش‌ناپذیر را تقریباً 90% مواقع شناسایی می‌کنند، سپس فقط در 0.4% مواردی که صریحاً غیرقابل‌دانستن برچسب زده‌اند تعهد می‌کنند. این نشان می‌دهد سامانه می‌تواند داوری معرفتی درست را بیان کند وقتی گردش‌کار جای اختصاصی برای آن می‌گذارد.
احتمال‌های باوری خودگزارش‌شده نیز جابه‌جایی بزرگ رفتاری را توضیح نمی‌دهند. مقاله می‌گوید احتمال‌های بیان‌شده کم حرکت می‌کنند در حالی که تعهد وقتی پنل معتبرتر می‌شود تند تغییر می‌کند. به همین دلیل نویسنده مسئله را گسست میان دانستن و عمل می‌داند، نه خطای متعارف کالیبراسیون.
مداخلهٔ آموزشی کوچک دروازه را درست می‌کند، اما فقط در برخی قالب‌ها
مقاله می‌آزماید آیا دروازهٔ اقدام را می‌توان جداگانه آموزش داد. تنظیم دقیق نظارت‌شدهٔ یک مدل 3B روی 540 نمونهٔ مصنوعی، عمدتاً وظایف سادهٔ تاس، سکه، ظرف و زمان‌سنج، تعهد را روی ارزیابی اصلی به صفر می‌رساند و در اجراهای گزارش‌شده به سه حوزهٔ نادیده منتقل می‌شود.
آن نتیجه امیدوارکننده است اما در برابر هر قید استقرار مقاوم نیست. پیش‌چاپ گزارش می‌کند قالب‌های صلب خروجی می‌توانند فضای استدلالی را که مدل برای امتناع مناسب به کار می‌برد حذف کنند. در یک حذف، مدل تنظیم‌شده در هر 48 مورد غیرقابل‌دانستن تعهد می‌کند وقتی به قالب پاسخ محدود واداشته شود.
برای سازندگان عامل، این هشداری مفید است. رفتار ایمنی آموخته در استدلال آزاد ممکن است وقتی API تولیدی طرحوارهٔ کوتاه، فیلد JSON ثابت یا تصمیم دودویی بخواهد ناپدید شود. رابط پیرامون مدل بخشی از سازوکار ایمنی می‌شود.
انتشار برای یک پیش‌چاپ تازه به‌طور غیرمعمول قابل‌بازتولید است
کار مقدماتی است و وضعیت داوری همتا تأیید نشد. همچنین نویسندهٔ آن یک پژوهشگر مستقل واحد است، بنابراین نتایج به تکرار بیرونی روی وظایف و چارچوب‌های عامل بیشتر نیاز دارند.
هم‌زمان، سیگنال انتشار قوی‌تر از یک مقالهٔ اولیهٔ معمولی است. مخزن رسمی GitHub شامل کد، داده، مواد پیش‌ثبت و خروجی‌های ذخیره‌شدهٔ مدل است. رکورد arXiv می‌گوید نتایج عددی را می‌توان از مصنوعات منتشرشده دوباره محاسبه کرد و وابستگی به فراخوانی‌های API غیرقابل‌دسترس را برای راستی‌آزمایی پایه کم می‌کند.
مقاله دربارهٔ محدودیت‌ها نیز صریح است. فقط وظایف سهام و رمزارز نتایج مهروموم‌شده یا حل‌شده‌ای دارند که مستقیماً پیش‌بینی‌ناپذیری را اعتبار می‌بخشند. ورزش و هوا فاقد همان ساختار نتیجه‌اند و نویسنده یادآور می‌شود پنل هوا حاوی سیگنال واقعی پیش‌بینی است، که آن حوزه را ابزار ضعیف‌تری برای ادعای اصلی می‌کند.
چرا این برای عوامل تولیدی اهمیت دارد
بسیاری از عوامل تولیدی اطلاعاتی مصرف می‌کنند که از طراحی معتبر به نظر می‌رسد: تابلوهای اطلاعاتی، نتایج بازیابی، رکوردهای پایگاه‌داده، خلاصه‌های تولیدشده و خروجی ابزار. مطالعه پیشنهاد می‌کند تیم‌ها نه فقط این را بیازمایند که آیا عامل می‌تواند عدم‌قطعیت را بیان کند، بلکه آیا آن عدم‌قطعیت واقعاً جلوی اقدام را می‌گیرد.
یک کنترل عملی این است که تصمیم اقدام را صریح کنند. عامل می‌تواند نخست طبقه‌بندی کند که آیا شواهد موجود برای اقدام خواسته‌شده کافی است، آن داوری را ثبت کند، و فقط سپس به فراخوانی ابزار یا توصیه برود. نتیجهٔ دانستی‌بودن‌اول مقاله نشان می‌دهد این جداسازی می‌تواند تعهد ناموجه را به‌طور معنادار کم کند، هرچند نباید ضمانت همگانی تلقی شود. به بیان دیگر، شناخت عدم‌قطعیت کافی نیست اگر تصمیم اقدام در همان گام، بدون ثبت داوری معرفتی، گرفته شود؛ این تمایز برای سامانه‌هایی عملی است که خروجی ابزار را با استدلال مدل در یک پاسخ فشرده می‌کنند.
ارزیابی‌ها همچنین باید شواهد ساختگی اما باورپذیر را در بر بگیرند، نه فقط دادهٔ غایب. سامانه ممکن است وقتی اطلاعات نیست ایمن رفتار کند و وقتی اطلاعات نامربوط مانند منبع باکیفیت قالب‌بندی شود بیش‌مطمئن شود. این به‌ویژه برای عوامل تقویت‌شده با بازیابی، دستیاران مالی و سامانه‌های عملیاتی که استدلال مدل را با خوراک ساخت‌یافته ترکیب می‌کنند مرتبط است.
سهم گسترده‌تر پیش‌چاپ تعریف تیزتری از کالیبراسیون عامل است. کافی نیست مدل احتمال‌های معقول بدهد یا عدم‌قطعیت را شفاهی بپذیرد. عامل تولیدی همچنین به سیاست قابل‌اطمینانی نیاز دارد برای این‌که عدم‌قطعیت چه وقت باید مانع اقدام شود، و آن سیاست باید از قیود دقیق ابزار و خروجی به‌کاررفته در استقرار جان سالم به در ببرد.