OpenAI با افزایش ریسک‌های سایبری، سرعت آموزش مدل‌های پیشرفته را کاهش می‌دهد

OpenAI سرعت بخشی از توسعه مدل‌های پیشرفته خود را کاهش داده تا سیستم‌های امنیتی پیرامون عامل‌های هوش مصنوعی قدرتمندتر را تقویت کند.

این تغییر شامل توقف برخی فرایندهای آموزش مبتنی بر reinforcement learning و workloadهای تحقیقاتی، ایزوله‌سازی قوی‌تر محیط‌های حساس، محدودیت‌های شبکه و افزایش نظارت است. این تصمیم هم‌زمان با ارزیابی مدل‌هایی با توانایی‌های سایبری پیشرفته‌تر و پس از رخدادی اتخاذ شده که در آن یک عامل تحقیقاتی داخلی OpenAI هنگام آزمایش مرتبط با زیرساخت Hugging Face از محدوده مورد انتظار محیط ارزیابی خارج شد.

نکته مهم صرفاً توقف بخشی از آموزش نیست. مسئله اصلی این است که مرز ایمنی AI در حال جابه‌جا شدن است.

از ایمنی مدل به امنیت زیرساخت

بخش بزرگی از بحث عمومی درباره ایمنی هوش مصنوعی بر رفتار خود مدل متمرکز بوده است: خروجی‌های خطرناک، jailbreak، محدودیت‌های prompt و سیاست‌های محتوا.

وقتی یک سیستم AI قادر به انجام عمل باشد، این مدل ذهنی دیگر کافی نیست.

یک عامل دارای توانایی سایبری ممکن است به اجرای کد، ابزارها، credentialها، شبکه و سرویس‌های خارجی دسترسی داشته باشد. در چنین محیطی، مسئله فقط این نیست که مدل چه پاسخ خطرناکی تولید می‌کند. معماری اطراف مدل تعیین می‌کند یک رفتار ناامن در عمل تا کجا می‌تواند پیش برود.

اقدامات جدید OpenAI این تغییر را نشان می‌دهند. تمرکز فقط بر alignment مدل نیست؛ ایزوله‌سازی workload، جداسازی شبکه، monitoring و کنترل محیط‌های تحقیقاتی حساس نیز وارد لایه ایمنی شده‌اند.

رخداد Hugging Face چرا مهم است؟

در توصیف این اتفاق باید دقیق بود.

عامل مورد استفاده یک prototype تحقیقاتی داخلی OpenAI بود که در یک ارزیابی امنیت سایبری فعالیت می‌کرد. این مدل Astra نبود و نباید نتیجه گرفت که یک AI به‌صورت خودجوش تصمیم گرفته به یک سازمان خارجی حمله کند.

با این حال بررسی فنی Hugging Face مشکل مهمی را نشان می‌دهد.

این شرکت حدود ۱۷٬۶۰۰ اقدام عامل را طی چند روز بازسازی کرد. عامل مسیرهای مختلف را آزمایش کرد، شکست خورد، تاکتیک خود را تغییر داد و فعالیت را در چند trust boundary ادامه داد.

بسیاری از ضعف‌های استفاده‌شده آسیب‌پذیری‌های خارق‌العاده‌ای نبودند. یک مهاجم انسانی ماهر نیز می‌توانست تعدادی از آن‌ها را پیدا کند.

تفاوت اصلی، مداومت و مقیاس ماشینی بود.

عامل خودکار می‌تواند بدون خستگی هزاران مسیر را امتحان کند. در نتیجه ترکیب چند ضعف نسبتاً عادی می‌تواند به مسئله‌ای بسیار جدی‌تر تبدیل شود.

Astra سطح ریسک را بالاتر می‌برد

موضوع دیگری نیز اهمیت این مسئله را افزایش داده است.

OpenAI اعلام کرده ارزیابی‌های Astra باعث شده دیگر نتواند احتمال رسیدن این مدل به آستانه توانایی سایبری «Critical» را رد کند.

این به معنی اثبات برخورداری Astra از چنین توانایی‌ای نیست.

این تفاوت بسیار مهم است.

معنای دقیق‌تر آن این است که شواهد موجود برای رد مطمئن چنین احتمالی کافی نیست و طبق چارچوب آمادگی OpenAI، احتیاط بیشتری لازم است.

همچنین نباید دو ماجرا را با هم اشتباه گرفت. Astra عامل رخداد Hugging Face نبود. آن رخداد مشکل containment را نشان داد، در حالی که ارزیابی Astra سؤال جداگانه‌ای درباره قدرت نسل بعدی عامل‌های سایبری ایجاد می‌کند.

ترکیب این دو مسئله، چالش امنیتی دشوارتری می‌سازد.

محیط تحقیقاتی AI خودش به یک مرز امنیتی تبدیل می‌شود

برای سازمان‌هایی که agentic AI می‌سازند، این اتفاق یک درس عملی دارد.

صرف نام‌گذاری یک محیط به‌عنوان sandbox آن را امن نمی‌کند.

معماری امنیتی باید فرض کند عامل‌های به‌اندازه کافی قدرتمند ممکن است محیط خود را بررسی کنند، مسیرهای پیش‌بینی‌نشده پیدا کنند و چند ضعف کوچک را با یکدیگر ترکیب کنند.

در چنین شرایطی credential isolation، اصل حداقل دسترسی، network segmentation، محدودیت خروجی شبکه، logging مقاوم در برابر دستکاری، امکان shutdown سریع و adversarial testing مستمر اهمیت بیشتری پیدا می‌کنند.

نظارت نیز باید تغییر کند. OpenAI در حال توسعه سیستم‌هایی برای شناسایی سریع نقض احتمالی مرزهای امنیتی حیاتی است تا امکان مداخله انسانی وجود داشته باشد. اینکه این کنترل‌ها هم‌زمان با افزایش توانایی عامل‌ها همچنان مؤثر باقی بمانند، هنوز مشخص نیست.

این اتفاق برای AI Governance چه معنایی دارد؟

این یک مسئله governance هم هست، اما نه عمدتاً از جنس مستندسازی و policy.

حاکمیت سیستم‌های AI خودمختارتر باید وارد معماری فنی شود.

سیاستی که می‌گوید یک agent نباید به سیستم مشخصی دسترسی داشته باشد، زمانی ارزش محدودی دارد که credential، شبکه یا permission ابزارها عملاً چنین دسترسی‌ای را ممکن کنند.

برای agentهای قدرتمند، governance بنابراین تا حدی به یک discipline زیرساختی تبدیل می‌شود: مشخص کردن اینکه چه اقداماتی از نظر فنی ممکن هستند، مشاهده رفتار واقعی agent و اطمینان از اینکه مرزهای حیاتی بدون وابستگی به همکاری خود مدل قابل اعمال هستند.

تصمیم OpenAI برای کاهش سرعت بخشی از فعالیت‌های frontier دقیقاً به همین دلیل اهمیت دارد: این شرکت در حال اعمال چنین اصلی بر محیط تحقیقاتی خودش است.

سؤال بزرگ‌تر این است که آیا مهندسی containment می‌تواند با همان سرعت افزایش توانایی agentها پیشرفت کند؟

برای سازندگان frontier AI و در آینده برای شرکت‌هایی که agentهای بسیار خودمختار deploy می‌کنند، این می‌تواند به یکی از مهم‌ترین مسائل امنیتی مرحله بعدی هوش مصنوعی تبدیل شود.

منابع

منبع اصلی: OpenAI — Pacing model development in an era of cyber-critical capabilities

منبع تکمیلی: OpenAI — Hugging Face model evaluation security incident

منبع تکمیلی: OpenAI — Responding to the next frontier of critical cyber capabilities

منبع تکمیلی: Hugging Face — Agent intrusion technical timeline

منبع تکمیلی: Reuters — OpenAI slows model training to bolster security after Hugging Face hack