OpenAI در ۱۹ نوامبر ۲۰۲۶ از Performance Factory رونمایی کرد؛ سامانه‌ای خودکار که در آن عامل‌های Codex افت عملکرد در ChatGPT و سرویس‌های آن را پیدا، تشخیص و رفع می‌کنند. این نوشته را اوکی زد و سایرس فوربز، اعضای کادر فنی، نوشته‌اند و سامانه را پاسخی به سرعت توسعه عاملی می‌دانند که مهندسی عملکرد دستی را ناپایدار کرده است.

عدد محوری حجم کار است. OpenAI می‌گوید نخستین گردش‌کار به نام Regression Workflow در کمی بیش از سه ماه بیش از ۱٬۷۰۰ بررسی را پیگیری و علت ریشه‌ای بیش از ۶۰۰ مورد را پیدا کرده است؛ نویسندگان این را حدود ۱۷ بررسی خودکار در روز می‌دانند. گردش‌کار با فعال‌شدن هشدار عملکرد یک وظیفه باز می‌کند، عاملی کندی را بررسی و یافته‌ها را ثبت می‌کند، اصلاحی برای بازبینی مهندس پیشنهاد می‌دهد و پس از استقرار، عامل دیگری بررسی می‌کند آیا عملکرد به خط پایه برگشته است.

این نوشته مسیر تیم را شرح می‌دهد. مهندسان ابتدا دستی بررسی می‌کردند و بیش از ۳۰ ابزار عملکرد ساختند. سپس Codex را شریک کار کردند، روش خود را در مهارتی مشترک به نام perf-forensics ثبت کردند، بررسی‌ها را به ابر بردند تا هشدارها خودکار جلسه شروع کنند و در پایان کارخانه را ساختند تا گردش‌کارها را از ابتدا تا انتها اجرا کند. سامانه چهار بخش دارد: سرویس وظیفه با گردش‌کارهای قابل پیکربندی که با فایل پیکربندی و دستورهای Markdown نوشته می‌شوند، حلقه توزیع که کار آماده را به عامل‌ها می‌سپارد، API داخلی که Codex را در ابر با هویت سرویس و مجوزهای محدود اجرا می‌کند، و اشتراک‌هایی که با رویدادهایی مانند نظر روی درخواست ادغام یا پایان استقرار عامل‌ها را بیدار می‌کنند.

دقت با بازبینی متقابل تأمین می‌شود. عامل‌های اولیه گاهی به نخستین علت محتمل بسنده می‌کردند، پس OpenAI بازبینی مخالف‌خوان اضافه کرد که در آن جلسه‌ای جدا از Codex می‌کوشد تشخیص را رد کند. در یک نمونه، بازبین یک بررسی را دوباره باز کرد، زیرا سرویس مکان‌یابی فایل‌ها بهبود یافته بود اما درخواست‌های تصویر هنوز شکست می‌خوردند. در بازبینی دستی ۱۰۰ پیشنهاد علت، ۷۰ درصد دقیق و ۳۰ درصد نیازمند کار بیشتر ارزیابی شد. رفع مشکل دشوارتر از یافتن علت بود، چون تغییرهای پیشنهادی گاهی پیچیده‌تر از لازم بودند یا مشکل تازه می‌ساختند؛ بنابراین اصلاح‌ها هم بازبینی مخالف‌خوان می‌شوند و مهندسان تصمیم می‌گیرند چه چیزی عرضه شود.

OpenAI درس‌های عملیاتی هم شرح می‌دهد. توجه مهندسان را با پیوند‌دادن رخدادهای مرتبط و رتبه‌بندی اثر برآوردی حفظ می‌کند، مهارت‌های بررسی را با رخدادهای گذشته می‌آزماید و شواهد را به آنچه عامل می‌توانست ببیند محدود می‌کند، مفیدبودن خلاصه‌ها را جداگانه نمره می‌دهد و هر روز عاملی اجرا می‌کند که اجراهای اخیر را برای خرابی ابزار و خطای دسترسی می‌کاود تا مشکل‌های تکراری به وظیفه تعمیر تبدیل شوند.

گام‌های بعدی شامل کشف پیش‌دستانه کندی‌هایی است که هشدارها از دست می‌دهند، گردش‌کارهای بازاستفاده‌پذیر مانند تنظیم اندازه سرویس‌ها، آزمون‌های عملکرد ساختگی و بررسی این‌که عامل‌ها شاید روزی بتوانند اصلاح‌های کم‌خطر را بدون انسان بازبینی و عرضه کنند. فعلاً گلوگاه ممکن است مهندسی باشد که تغییر را تأیید می‌کند.

همه اعداد از خود OpenAI و از یک سامانه داخلی‌اند؛ پس نشان می‌دهند شرکت چه اندازه گرفته است و نتیجه‌ای ممیزی‌شده از سوی نهادی مستقل نیستند.

منابع