شرکت OpenAI در ۹ نوامبر ۲۰۲۶ شرحی از سامانه‌ای به نام Control Room منتشر کرد که کارهای استنباط پژوهشی را دنبال می‌کند و می‌تواند تولید بعدی مدل را قطع کند، وقتی انسان یا سامانه پایش تصمیم می‌گیرد کار را متوقف یا معلق کند. نوشته رسمی امضای فردی ندارد. شرکت گفت این سامانه هم‌اکنون در سراسر زیرساخت پژوهشی مستقر شده و هر بار کاری استنباط پژوهشی را به هم وصل می‌کند، از جمله نمونه‌گیری عامل‌محور برای آموزش و ارزیابی و نیز پردازش داده. این سامانه با پایش ناهم‌ترازی شرکت کار می‌کند و به گفته خودش ظرف ۳۵ ثانیه پس از دستور مداخله، خروجی مدل را متوقف می‌سازد.

این سامانه کنار کار پژوهشی و موتور استنباطی می‌نشیند که مدل را روی پردازنده‌های گرافیکی اجرا می‌کند. شرکت می‌گوید هر بار کاری پژوهشی که استنباط عامل‌محور انجام می‌دهد باید به یک پرونده ایمنی تأییدشده پیوند بخورد. هنگام آغاز کار، خودِ کد از سامانه شناسه می‌گیرد. بعد وقتی آن کار نشانه تازه‌ای از مدل می‌خواهد، شناسه را برای موتور می‌فرستد. موتور پیش از تولید هر خروجی از سامانه می‌پرسد آیا آن کار هنوز مجاز است. اگر کار به‌عنوان متوقف‌شده علامت خورده باشد، درخواست رد می‌شود و موتور به جای نشانه، پاسخ امتناع برمی‌گرداند.

طراحی عمداً به کد کار پژوهشگر اعتماد نمی‌کند که خودش را خاموش کند. شرکت نوشت نرم‌افزار این بارها زیاد عوض می‌شود و جای مناسبی برای مهارهای حیاتی ایمنی نیست، در حالی که شمار مسیرهای استنباط کم است و استقرارشان یکدست‌تر است. بنابراین توقف در لایه استنباط رخ می‌دهد؛ لایه‌ای که شرکت آن را گلوگاهی خواند که حتی اگر خودِ فرایند کار زنده بماند، استنباط پژوهشی را پوشش می‌دهد. شرکت گفت همچنین پویش‌های مداوم با عامل و با برنامه اجرا می‌کند تا موتورهایی را پیدا کند که بدون این سامانه یا با بررسی‌های خاموش راه‌اندازی شده‌اند.

به گفته نوشته، همه کارهای یادگیری تقویتی مرزی با یک ناظر اجرا می‌شوند: مدل دیگری که رفتار مدل در حال آموزش را می‌بیند و اگر مشکلی تشخیص دهد هشدار می‌دهد. شرکت گفت یک رخداد اخیر مرتبط با DNS از همین راه کشف شد. بسته به جزئیات و شدت، سامانه پایش می‌تواند از Control Room بخواهد کار را متوقف کند. پس از آن، درخواست استنباط بعدی با همان شناسه رد می‌شود. فرایند پژوهشی ممکن است همچنان زنده بماند و موتور برای کارهای مجاز دیگر در دسترس می‌ماند.

سقف ۳۵ ثانیه‌ای از لایه نهانی می‌آید که مجوز استنباط را در حجمی که شرکت گفت به آن نیاز دارد صادر می‌کند. شرکت نوشت می‌کوشد این تأخیر را به صفر برساند تا کارها فوری قطع شوند. سامانه همچنین به‌گونه‌ای توصیف شده که در خرابی بسته می‌ماند. اگر خدمت به‌دلیل خطا از کار بیفتد، غیرفعال شود یا دستکاری شود، درخواست‌های استنباط تا بازگشت به وضع عادی رد می‌شوند. شرکت گفت این رفتار هم‌اکنون برای همه کارهای پژوهشی مدل‌های مرزی اعمال شده و پوشش بقیه کارهای پژوهشی ظرف چند روز آینده تمام می‌شود.

شرکت این چیدمان پژوهشی را با پشته بیرونی ارائه مدل مقایسه کرد که به گفته‌اش از پیش متمرکزتر است و از نظر عملیاتی می‌تواند استقرارها را سریع پایین بیاورد. به نوشته شرکت، Control Room تنها بخشی از تلاش گسترده‌تر برای آموزش و استقرار ایمن در مرز است، در کنار پایش رفتار ناهم‌تراز و رخنه امنیتی. این متن یک مهار ایمنی داخلی را معرفی می‌کند، نه محصولی که مشتری بیرونی بتواند بخرد یا خودش اداره کند.

منابع