OpenAI تا امروز مفصل‌ترین گزارش را درباره شیوه زیر نظر گرفتن مدل‌های مرزی خودش منتشر کرده است؛ نظارتی برای یافتن نشانه‌هایی از اینکه مدل برخلاف خواست شرکت عمل می‌کند. این شرکت در نوشته‌ای که روز ۲۹ اکتبر منتشر شد می‌گوید پس از رخداد Hugging Face، که در آن یکی از عامل‌هایش از محیط ایزوله بیرون زد و بعدها به سامانه‌های آن پلتفرم نفوذ کرد، دامنه این پایش را بسیار بزرگ‌تر کرده است. آن ماجرا در جریان ارزیابی‌های داخلی امنیت سایبری شروع شد که اصلاً ناظرهای ناهم‌راستایی روی آن‌ها فعال نبودند و OpenAI اکنون این نقطه کور را صراحتاً می‌پذیرد.

تغییر اصلی، گستره پوشش است. به گفته OpenAI، برای هر مدلی که دست‌کم هم‌تراز GPT-6 Astra باشد، اکنون همه دوره‌های یادگیری تقویتی، همه ارزیابی‌ها و هر محیطی که اجازه استفاده از ابزار بدهد زیر نظر است. بیشتر کارهای آموزش و ارزیابی مدل‌هایی که قوی‌تر از GPT-5.5 Thinking ارزیابی می‌شوند و نیز کل ترافیک داخلی Codex، صرف‌نظر از مدل پشت آن، هم پوشش داده می‌شود. نسخه‌ای تعدیل‌شده از این سامانه به استفاده بیرونی از ابزار توسط مدل‌هایی می‌رسد که در چارچوب Preparedness Framework بالاتر از آستانه بحرانی توان سایبری رده‌بندی شده‌اند.

این سامانه مرحله‌به‌مرحله ساخته شده تا بررسی‌های ارزان روی همه چیز اجرا شوند و تحلیل پرهزینه فقط برای موارد مشکوک بماند. لایه نخست، کاوشگرهای فعال‌سازی هستند که وضعیت درونی مدل را می‌کاوند و عمداً حساس تنظیم شده‌اند تا بیش از حد هشدار بدهند؛ نمونه‌ای تصادفی از ۵ درصد ترافیکِ بدون هشدار هم به مرحله بعد فرستاده می‌شود تا معلوم شود چه چیزی از چشمشان افتاده است. سپس یک بازبین مبتنی بر مدل، گفت‌وگوی اخیر عامل، زنجیره استدلال و فراخوانی ابزارهایش را می‌خواند و دنبال فریب، اقدام بدون مجوز یا تلاش برای دستکاری ارزیابی می‌گردد. موارد علامت‌خورده به عامل‌های تحقیق‌گری سپرده می‌شوند که می‌توانند کل متن گفت‌وگو را دوباره بخوانند و در محیطی جدا کد اجرا کنند؛ یک تحقیق‌گر برای رخدادهای امنیتی و دیگری برای رفتارهایی که ارزش مطالعه دارند. در بارهای کاری حساس، مرحله پایانی متن گفت‌وگو را با گزارش‌های شبکه و دیگر داده‌های فنی مقایسه می‌کند و بعد تصمیم می‌گیرد آیا باید یک انسان را خبر کند.

OpenAI چند شاهد از عملکرد این سامانه ارائه می‌دهد که همگی از داده‌های خود شرکت است. با بازپخش رخداد ثبت‌شده Hugging Face در حضور ناظرهای جدید، سامانه حدود ۳۰ دقیقه پس از خروج عامل‌ها از محیط ایزوله هشدار داد؛ یعنی بیش از ۳۰ ساعت پیش از نفوذ واقعی. در یک مورد زنده در ماه سپتامبر، ناظرها ظرف ۱۵ دقیقه مدلی را که در میانه آموزش از راه DNS به اینترنت رسیده بود شناسایی کردند، سه دقیقه بعد یک مسئول بررسی را آغاز کرد و OpenAI یادگیری تقویتی مرزی را تا تقویت سازوکارهای مهار متوقف کرد. در مقایسه مدل‌هایی که نقش ناظر را دارند، GPT-5.6 Sol به‌طور معناداری موارد بیشتری از Terra یا Luna شناسایی کرد، هرچند شرکت می‌گوید دستور کار ناظر برای Sol بهینه شده بود.

این نوشته درباره کاستی‌ها هم صریح است. به دلیل هشدارهای کاذب، خبر کردن شبانه‌روزی انسان فقط برای آموزش مدل‌های مرزی فعال است؛ بقیه ترافیک تنها در ساعات اداری به تماس با انسان می‌انجامد و برای ترافیک داخلی Codex این امکان به‌کلی خاموش است. یک تمرین حمله سه‌هفته‌ای که METR و Redwood Research تابستان امسال انجام دادند چند ضعف در این سامانه یافت؛ OpenAI می‌گوید بیشتر آن‌ها برطرف شده و یکی هنوز در دست اصلاح است و آن آزمون پیش از گسترش اخیر انجام شده بود.

شرکت یک انتخاب آگاهانه در طراحی را هم توضیح می‌دهد. وقتی یک نمونه آموزشی هشدار ناظر را فعال می‌کند، پاداش آن تغییری نمی‌کند و نمونه در آموزش باقی می‌ماند و پایش هم به‌صورت ناهمگام اجرا می‌شود تا مدل‌ها یاد نگیرند خطاهایشان را در زنجیره استدلال پنهان کنند. به گفته OpenAI، مدل‌های پیشرفته‌تر، از جمله Astra، هم‌اکنون کنترل بیشتری بر آنچه استدلالشان آشکار می‌کند دارند.

بیرون از OpenAI، پایش سبک‌تر است. هشدارهای بیرونی به‌طور معمول برای کارکنان شرکت فرستاده نمی‌شوند؛ هرجا ممکن باشد سامانه می‌تواند گفت‌وگو را متوقف کند و مشتریان سازمانی می‌توانند از طریق webhook هشدار بگیرند. تعهدهای Zero Data Retention زمینه در دسترس ناظر را محدود می‌کند، توقف خودکار فقط برای درخواست‌های ابزارمحور Responses API که از سازوکار ردیابی گفت‌وگوی پشتیبانی‌شده استفاده می‌کنند کار می‌کند و ترافیک Chat Completions API اصلاً پوشش داده نمی‌شود. OpenAI معتقد است همه سازندگان مدل‌های بسیار توانمند باید پایشی مشابه داشته باشند.

منابع