کوردیسبنچ یک پرسش محدود اما بسیار عملی پیش روی تیمهایی میگذارد که زیرساخت پویا برای عاملهای هوش مصنوعی میسازند: وقتی عامل اجزای پیرامون خودش را تغییر میدهد، آیا مدل میتواند با اطمینان پیشبینی کند پس از این تغییر چه وضعیتی باقی میماند؟ این معیار تازه نشان میدهد مدلها اغلب در تشخیص اجزای تحتتأثیر موفقاند، اما با بیشتر شدن تعاملها در پیشبینی وضعیت نهایی، بررسی ترتیبهای مختلف پاکسازی و انتخاب کمینهترین بازپیکربندی قابلاعتماد نیستند.
مهمترین نتیجه مهندسی فقط این نیست که مدلها خطا میکنند. کوردیسبنچ یک معنای مرجع محدود نیز تعریف میکند که در تمام مشاهدهها و نتیجههای عملیاتی مورد استفاده برای امتیازدهی ۵۲۸ پرسش اجرایی، با اجرای واقعی کوردیس یکسان است. در این دسته محدود از تغییرهای چرخهعمر، پیامد مکانیکی را میتوان دقیق محاسبه کرد. بنابراین بخشی از حاکمیت چارچوب عامل از مسئله هدایت مدل به مسئله راستیآزمایی تبدیل میشود.
معیار، استدلال درباره چرخهعمر را جدا میکند
کوردیسبنچ اول سپتامبر در آرکایو ثبت شده و کد و مجموعهداده تثبیتشده آن نیز منتشر شده است. این معیار ۱۲۰۰ پرسش ساختیافته دارد که از ۲۴۰ سامانه تولید شدهاند. وظایف شامل تشخیص اجزای تحتتأثیر، پیشبینی وضعیت نهایی برای یک ترتیب مشخص توقف، تعیین شرطهایی که در همه یا برخی ترتیبهای مجاز برقرار میمانند و انتخاب اقدامهای بازپیکربندی است که واقعاً روی محیط اجرا آزمایش میشوند.
پژوهش دو محیط دارد. در محیط صوری، وابستگیها و تغییر وضعیت بهصورت روشن تعریف شدهاند. در محیط بومی کوردیس، الگوهای مشابه به افزونههای اجرایی برای نسخه 4.0.0-rc.7 کوردیس تبدیل میشوند. پژوهشگران تعداد تعاملهای مرتبط را از ۲ تا ۳۲ افزایش میدهند، در حالی که شکل پرسش و قاعده امتیازدهی در هر وظیفه ثابت میماند.
سه مدل جمینای 3.7 فلش، جیپیتی 5.6 لونا و دیپسیک V4 فلش با سطح پایین استدلال ارزیابی شدهاند. این پوشش محدود است، اما روش ارزیابی اهمیت دارد: پاسخها با قواعد قطعی امتیاز میگیرند و برنامههای بازپیکربندی بهجای ارزیابی متنی، واقعاً اجرا میشوند.
تشخیص تغییر آسانتر از پیشبینی نتیجه نهایی است
روشنترین الگوی گزارششده فاصله میان تشخیص اجزای درگیر و پیشبینی پیامد است. برای نمونه، جیپیتی 5.6 لونا در تشخیص اجزای تحتتأثیر نزدیک به سقف باقی میماند، اما امتیاز آن برای شرطهای قابلدستیابی در محیط صوری با افزایش تعاملها از ۹۱٫۷ درصد به ۱۴٫۱ درصد کاهش مییابد. موفقیت بازپیکربندی اجرایی آن در محیط کوردیس نیز از ۶۲٫۵ درصد به ۲۵ درصد میرسد.
بخشی از افت، علتهای مشخص دارد. بیستونه پاسخ جمینای به سقف اولیه ۸۱۹۲ توکن خروجی رسیدند و افزایش این سقف چند نتیجه مربوط به نمونههای بزرگ را بهطور محسوس بهتر کرد. پژوهشگران همچنین آزمایشی با تعداد ثابت ترتیبهای توقف انجام دادند تا اثر بزرگتر شدن ساختار وابستگی با صرفاً بیشتر شدن تعداد ترتیبها اشتباه نشود.
استدلال بیشتر میتواند بخشی از عملکرد را بازیابی کند. در یک زیرمجموعه متوازن با ۱۶ تعامل، دقت پیشبینی جیپیتی 5.6 لونا در کوردیس از ۳۱٫۲ درصد بدون استدلال به ۸۵٫۴ درصد با سطح متوسط میرسد و موفقیت بازپیکربندی اجرایی از صفر به ۵۰ درصد افزایش پیدا میکند. هزینه متوسط در این سطح حدود ۲۹۶۷ توکن استدلال برای هر پرسش است.
برخی تصمیمهای چرخهعمر اصلاً نباید به مدل سپرده شوند
قویترین نتیجه سامانهای این پژوهش، انطباق کامل معنای مرجع محدود با اجرای کوردیس در هر ۵۲۸ پرسش اجرایی است. در محدوده این معیار، بخشی از استدلال احتمالاتی مدل صرف پیامدهایی میشود که نرمافزار میتواند آنها را دقیق محاسبه کند.
این تمایز در محیط عملی مهم است. مدل برای انتخاب هدف، فهم نیت مبهم و تصمیمگیری در شرایطی که محیط بهطور کامل قابلصورتبندی نیست مفید است. اما حذف یک وابستگی، ترتیب پاکسازی و بازگرداندن وضعیتی که صریحاً تعریف شده در دسته دیگری قرار میگیرد. وقتی این مکانیک معلوم است، سپردن پیشبینی آن به مدل هم سطح خطا را بیشتر میکند و هم هزینه استنتاج را بالا میبرد.
اصل معماری این است که پیامدهای قطعی چرخهعمر زیر مرز تصمیمگیری مدل قرار بگیرند. عامل میتواند تغییر در چارچوب را پیشنهاد دهد، اما یک راستیآزما باید پیش از اجرا دامنه وابستگیهای درگیر، ترتیبهای مجاز پاکسازی، محدودیتهای وضعیت نهایی و معتبر بودن بازپیکربندی خواستهشده را محاسبه کند.
تکامل چارچوب به دو دروازه انتشار متفاوت نیاز دارد
کوردیسبنچ چند ساعت پس از هارنسدِو منتشر شد؛ پیشچاپ دیگری از اول سپتامبر که ایپولیکس آن را پوشش داده است. هارنسدِو یک مشکل گستردهتر را نشان داد: بهبودی که بر اساس بازخورد قابلمشاهده انتخاب میشود لزوماً به وظایف پنهان یا مدل اجراکننده دیگر منتقل نمیشود. کوردیسبنچ لایه مکملی را آشکار میکند.
این دو نتیجه را نباید به یک هشدار کلی درباره عاملهای خودکار تقلیل داد. هر کدام به یک سازوکار تضمین متفاوت نیاز دارد. تغییرهای معنایی در چارچوب عامل باید با آزمون تجربی و روی وظایف مستقل ارتقا پیدا کنند، چون اثر آنها بر عملکرد پاییندستی عموماً قابل محاسبه نیست. در مقابل، تغییرهای مکانیکی چرخهعمر باید هر زمان که وابستگیها و اثرهای پاکسازی صریحاند، علاوه بر آزمونهای تجربی از راستیآزمایی قطعی نیز عبور کنند.
این نگاه معماری انتشار را دقیقتر میکند. نخست باید ثابت شود نسخه جدید روی بار کاری هدف، وظایف پنهان و مدلهای اجراکننده واقعی بهتر است. سپس بهطور مستقل باید بررسی شود که افزودن، حذف یا توقف اجزا در ترتیبهای مجاز نمیتواند محیط اجرا را در وضعیتی نامعتبر یا ناخواسته باقی بگذارد. ارزیابی مبتنی بر مدل و راستیآزمایی صوری دو نوع شکست متفاوت را پوشش میدهند.
نتیجه مفید است، اما عمداً محدوده کوچکی دارد
کوردیسبنچ هنوز یک پیشچاپ است و نرخ شکست سامانههای واقعی را بهطور مستقل اثبات نمیکند. نمونههای دارای ۲۴ و ۳۲ تعامل آزمون فشار هستند و نماینده اندازه معمول چارچوبهای عملیاتی محسوب نمیشوند. وظایف بومی کوردیس از مجموعهای کنترلشده از ترتیبهای توقف استفاده میکنند و بر حذف مبتنی بر وابستگی و بازگرداندن وضعیت هنگام پاکسازی تمرکز دارند. اقدامهای خارجی برگشتناپذیر، خرابیها و جایگزینی کامل و زنده اجزا در این معیار پوشش داده نشدهاند.
ارزیابی سه مدل نیز پرسشهایی درباره مدلهای قویتر، دسترسی به ابزار، بازخورد اجرای واقعی و تلاش دوباره باقی میگذارد. جمینای در چند وظیفه بومی کوردیس نزدیک سقف است و بخشی از نتایج نمونههای بزرگ به محدودیت خروجی حساساند.
این محدودیتها نتیجه اصلی را دقیقتر میکنند. کوردیسبنچ نشان نمیدهد مدلهای زبانی توان مدیریت چارچوب پویا را ندارند. نشان میدهد تیمها باید ابتدا مشخص کنند کدام بخش مدیریت چارچوب واقعاً به استدلال احتمالاتی نیاز دارد. وقتی یک تغییر وضعیت از قواعد سامانه قابل استخراج است، معماری امنتر و کمهزینهتر این است که آن پیامد محاسبه یا راستیآزمایی شود و توان مدل برای تصمیمهایی باقی بماند که واقعاً نامطمئناند.