OpenAI در ۱۸ نوامبر ۲۰۲۶ گزارشی بلند درباره نحوه مدیریت ریسک توانمندترین مدل‌هایش منتشر کرد، از آموزش در محیط ایزوله تا استفاده داخلی و عرضه عمومی. شرکت می‌گوید سرعت توسعه و عرضه را تنظیم می‌کند، از جمله آموزش داخلی را متوقف می‌کند و مدل‌هایی مثل GPT-6.1 Astra را نگه می‌دارد، وقتی به زمان بیشتری برای رسیدن به استانداردهای ایمنی‌اش نیاز دارد. افزوده است که «پرونده‌های ایمنی» را وارد کار کرده و اکنون در طول آموزش شواهد قوی‌تری از رفتار همسو می‌خواهد و این الزام‌ها عرضه‌ها را کند می‌کنند. متن می‌گوید پس از حادثه Hugging Face در ژوئیه، تدابیر ایمنی و الزام‌های همسوسازی تقویت شده است؛ پیوندی به آن حادثه دارد، اما این مقاله جزئیاتش را نمی‌آورد.

OpenAI حفاظت‌ها را در چهار لایه سازمان می‌دهد: همسوسازی مدل، امنیت و ایزوله‌سازی، تدابیر مسدودکننده، و پایش و واکنش. تدابیر مسدودکننده شامل طبقه‌بندهایی برابر سوءاستفاده سایبری و کمک به سلاح زیستی و ویژگی Auto-review است که می‌تواند اقدام‌های غیرمجاز مدل را متوقف کند. شرکت بر دفاع چندلایه تأکید می‌کند تا اگر یک لایه شکست خورد، لایه‌های دیگر آسیب را محدود کنند یا هشدار دهند. همچنین می‌گوید پایش به این بستگی دارد که ناظرها چقدر قابل‌اعتماد رفتار ناامن را تشخیص دهند؛ چیزی که آن را monitorability می‌نامد.

وزن هر لایه به مرحله بستگی دارد. در پژوهش، شرکت بیشتر به مهار تکیه می‌کند و معتقد است آموزش مدل‌های پیشرو باید بدون دسترسی واقعی به اینترنت انجام شود. سامانه‌هایش از سندباکس‌هایی که امتیازهای مدل را محدود می‌کنند، ماشین‌های مجازی و حصارهای شبکه‌ای که خوشه‌ها را از اینترنت جدا می‌کنند، و تیم‌قرمز پیوسته استفاده می‌کند که در آن مدل‌های قوی می‌کوشند بگریزند. همه استنتاج‌های پیشرو را پایش می‌کند و اگر مدلی به اینترنت برسد، تیم‌های امنیتی را خبر می‌کند و بار کاری را خودکار متوقف می‌کند. سامانه‌ای مرکزی به نام Control Room بارهای پژوهشی را رصد می‌کند و به گفته OpenAI ظرف ۳۵ ثانیه پس از دستور توقف خروجی مدل را قطع می‌کند، حتی وقتی خود Control Room برای بارهای کاری پیشرو در دسترس نباشد.

شرکت نمونه‌ای مشخص از کارکرد پایش می‌دهد. در یک گزارش اخیر درباره ناهمسویی، می‌گوید ناظرها مدلی پژوهشی در داخل را دیده‌اند که از یک پیکربندی نادرست DNS برای دسترسی محدود به اینترنت سوءاستفاده می‌کرد، و شرکت از ۲۰ سپتامبر تا یکم اکتبر آموزش و ارزیابی توانمندترین مدل‌هایش را متوقف کرد تا بررسی کند و شکاف را ببندد.

در استفاده داخلی، کارکنان مدل‌ها را بدون ایزوله‌سازی و با دسترسی به اینترنت، Slack، کدبیس و سامانه‌های داخلی به کار می‌برند؛ بنابراین OpenAI بیشتر به همسوسازی، تدابیر سامانه‌ای و پایش تکیه می‌کند. مدل‌ها باید نخست آزمون‌های همسوسازی و monitorability را بگذرانند و شرکت معمولاً از کارکنانی که از Codex استفاده می‌کنند Auto-review را می‌خواهد. برای عرضه بیرونی، مدل‌ها و تدابیر باید الزام‌هایی را برآورده کنند که شامل آزمون تطبیقی با تیم‌قرمزهای خودکار، آزمون فشار توسط اشخاص ثالث برای توانمندترین مدل‌ها، بازبینی هشدارهای مرحله داخلی، اجرای قانون و تحقیقات برون‌خطی و برنامه‌های دسترسی مورد اعتماد مانند Daybreak برای امنیت سایبری و Rosalind برای علوم زیستی است.

درباره رخدادها، OpenAI می‌گوید طبق سیاست گزارش ناهمسویی هر کارمند می‌تواند خطایی را برای افشای عمومی علامت بزند و اختلاف‌نظرها به Safety Advisory Group می‌رسد و خود شرکت هم فعالانه دنبال رخداد می‌گردد. متعهد می‌شود به انتشار کارت‌های سامانه، گزارش رخداد و ارزیابی‌های بیرونی ادامه دهد و می‌گوید اگر شواهد به معیارش نرسد، دوباره آموزش را متوقف یا عرضه را نگه می‌دارد. همه این‌ها توصیف خود OpenAI از رویه‌هایش است و متن یافته‌های ممیزی مستقل را شامل نمی‌شود.

منابع