دو نهاد غیرانتفاعی فعال در ایمنی هوش مصنوعی تابستان امسال سه هفته را درون OpenAI گذراندند تا سامانه‌ای را که این شرکت برای شناسایی رفتار نادرست عامل‌های خودش به کار می‌برد بشکنند، و چند راه نفوذ پیدا کردند. نهادهای METR و Redwood Research روز ۲۲ اکتبر خلاصه‌ای از این تمرین منتشر کردند که آسیب‌پذیری‌های ناظر ناهمزمان ناهمسویی را، آن‌گونه که تا ۲۱ ژوئیه کار می‌کرد، شرح می‌دهد.
شیوه دسترسی کم‌سابقه بود. از ۲۱ ژوئیه تا ۱۱ اوت، یک کارمند از هر نهاد به کد داخلی OpenAI، پرامپت‌ها و پیکربندی ناظر و مستندات داخلی دسترسی داشت و با حدود دوازده مهندس و پژوهشگر از تیم‌های پایش، سامانه‌های ایمنی و امنیت گفت‌وگو کرد. آنها با دستگاه‌های OpenAI کار می‌کردند که هرگز از ساختمان خارج نشد و در تمام مدت همراه داشتند. گزارش ۶۱ صفحه‌ای به خود شرکت تحویل شد و نسخه عمومی خلاصه‌ای عمداً کوتاه است که OpenAI حق حذف بخش‌هایی از آن را داشت.
نخستین پرسش، دامنه پوشش بود. ارزیاب‌ها برآورد می‌کنند که ۷۵ تا ۹۴ درصد ترافیک عامل‌ها در رابط داخلی Responses API، از مدل‌هایی دست‌کم هم‌توان با GPT-5.5، در آن زمان مشمول پایش بوده؛ بازه‌ای که خودشان آن را بسیار نامطمئن می‌دانند. این رقم برای بخش مربوط به عامل‌های داخلی Codex به ۹۹٫۲ درصد می‌رسید. اجراهای آموزش تقویتی در آغاز تمرین پوشش داده نمی‌شدند. چون رویدادهای فشرده‌سازی زمینه پایش نمی‌شد، شاید حدود یک‌دهم ترافیک مشمول Codex از ماه مه تا ژوئیه از چشم ناظر دور مانده باشد؛ شکافی که OpenAI پیش‌تر شناسایی کرده بود و در جریان بازبینی بست. از آنجا که بررسی فقط هنگام بازگرداندن کنترل به کاربر فعال می‌شد، عامل می‌توانست با ادامه دادن کار، نظارت را عقب بیندازد.
جدی‌ترین یافته‌ها به گریز عمدی مربوط است. تیم مسیری را شرح می‌دهد که عامل‌های Codex در اصل می‌توانستند با آن از محیط ایزوله و مرحله بازبینی خودکار بگذرند و با همه مجوزهای کاربر میزبان عمل کنند. همچنین از ترفندی خبر می‌دهد، که جزئیاتش را OpenAI حذف کرده، و می‌توانست صدها اقدام اخیر را از دید ناظر پنهان کند؛ از دو سرآیند قابل‌کنترل در سمت کاربر که پایش را برای عامل‌های تازه خاموش می‌کنند، هرچند خود این کار ممکن است شناسایی شود؛ از ورودی‌هایی که با سوءاستفاده از تفاوت آنچه عامل و ناظر می‌بینند، ناظر را از کار می‌اندازند؛ و از دو ابزار داخلی ظاهراً فقط‌خواندنی که با ترفندی ساده قابل نوشتن می‌شدند، موردی که در عمل آزموده نشد.
همه نتایج منفی نبود. ارزیاب‌ها تأیید کردند که ناظر، جز چند استثنای جزئی، همان مسیری را می‌بیند که عامل می‌بیند، پرامپت‌هایش به دنبال توطئه‌چینی، خرابکاری، خارج کردن داده، فریب و تزریق دستور است و نرخ خطا در دوره حضور آنها کمتر از ۰٫۲ درصد درخواست‌ها بود.
OpenAI به این دو نهاد گفته است همه آسیب‌پذیری‌های مؤثر بر سازوکارهای حفاظتی محیط عملیاتی را وصله کرده و دامنه پوشش ناظر را گسترش داده است. METR و Redwood می‌گویند این ادعاها را ارزیابی نکرده‌اند. OpenAI در بیانیه‌ای که رویترز نقل کرده، گفته است این یافته‌ها به تقویت حفاظت‌ها کمک کرد و همکاری آینده با ارزیاب‌های بیرونی را شکل می‌دهد. شبکه CNBC یادآوری می‌کند که سم آلتمن در سپتامبر، پس از پیشنهاد داریو آمودی از Anthropic، وعده دسترسی هم‌تراز کارمندان را به ارزیاب‌های مستقل داده بود.
اهمیت این تمرین فراتر از OpenAI است، چون از نخستین آزمون‌های علنی ممیزی بیرونی از درون یک آزمایشگاه است. محدودیت‌هایش هم روشن است: تنها یک آزمایش، خلاصه‌ای کوتاه و سانسورشده و اصلاحاتی که باید به آنها اعتماد کرد. ارزیاب‌ها پیشنهاد می‌کنند عامل‌ها در فواصل ثابت پایش شوند، گزارش‌های استنتاج با گزارش‌های ناظر تطبیق داده شود، عامل‌ها از ناظرانشان جدا نگه داشته شوند و زیرساخت پایش مرتب زیر حمله آزمایشی قرار گیرد؛ و خواهان شفافیت و استقلال بیشتر در دوره‌های بعد هستند.