OpenAI ایمنی بین‌تعاملی را بدون نگهداری داده مشتری آزمایش می‌کند

OpenAI در حال آزمایش یک معماری ایمنی جدید است که هدف آن شناسایی سوءاستفاده در مجموعه‌ای از تعاملات مرتبط با هوش مصنوعی، بدون نیاز به نگهداری promptها و پاسخ‌های مدل توسط خود شرکت است. این سیستم که Private Safety Processing نام دارد، در ۱۹ اوت برای مشتریان واجد شرایط API که از Zero Data Retention یا ZDR استفاده می‌کنند پیش‌نمایش شد. OpenAI می‌گوید این رویکرد قرار است تعهدی مهم برای سازمان‌های تحت مقررات و محیط‌های حساس از نظر امنیتی را حفظ کند و در عین حال به سیستم‌های ایمنی زمینه‌ای فراتر از یک درخواست منفرد بدهد.

زمان این معرفی مهم است، زیرا مدل‌های frontier بیش از گذشته برای کارهای طولانی، چندمرحله‌ای و agentic استفاده می‌شوند. OpenAI می‌گوید safeguards سازگار با ZDR در وضعیت فعلی هر تعامل را به‌صورت جداگانه ارزیابی می‌کنند و ممکن است الگوهای مخربی را که فقط در طول چند اقدام آشکار می‌شوند از دست بدهند. شرکت در اعلام رسمی خود به مواردی مانند آزمایش مکرر مرزهای ایمنی، فعالیت هماهنگ میان چند حساب، پنهان کردن تهدید در قالب پژوهش عادی و agentهایی که بعد از دستور توقف همچنان به عمل ادامه می‌دهند اشاره می‌کند.

در ZDR، به مشتریان واجد شرایط API وعده داده می‌شود که OpenAI پس از پردازش درخواست، promptها یا پاسخ‌های مدل را نگهداری نمی‌کند و محتوای مشتری نیز برای کارکنان OpenAI قابل مشاهده نیست. این طراحی برای سازمان‌هایی که با اطلاعات مالی، داده‌های سلامت، پژوهش اختصاصی یا سایر اطلاعات حساس سروکار دارند جذاب است، اما یک tradeoff دشوار در حوزه ایمنی ایجاد می‌کند. ارائه‌دهنده‌ای که محتوا را نگه نمی‌دارد، برای بررسی‌های پس از رخداد یا تشخیص الگویی که در چندین درخواست پخش شده است، داده کمتری در اختیار دارد.

Private Safety Processing تلاش OpenAI برای جدا کردن signal مورد نیاز جهت enforcement ایمنی از محتوای اصلی مشتری است. در استقرارهای ZDR، OpenAI می‌گوید محتوای مشتری روی زیرساختی باقی می‌ماند که خود مشتری کنترل می‌کند. شرکت همچنین در حال توسعه گزینه دومی است که در آن محتوا روی زیرساخت OpenAI ذخیره می‌شود، اما با کلیدهایی رمزگذاری می‌شود که کنترل آن‌ها در اختیار مشتری است. در هر دو حالت، سیستم‌های خودکار قرار است سوءاستفاده احتمالی را شناسایی کرده و تنها یک signal محدود و تعریف‌شده به OpenAI برگردانند، بدون آنکه کارکنان شرکت به promptها یا پاسخ‌ها دسترسی پیدا کنند.

OpenAI می‌گوید این signalها می‌توانند نوع فعالیت را مشخص کنند و برای تصمیم‌گیری درباره ضرورت enforcement به کار روند. اگر مشتری نیاز داشته باشد یک alert را بررسی کند، می‌تواند از اطلاعات موجود در سیستم‌های خودش استفاده کند. مشتری همچنین می‌تواند هنگام اعتراض به تصمیم، توضیح یک فعالیت مشروع یا کمک به بررسی سوءاستفاده تأییدشده، اطلاعات مرتبط را به انتخاب خود با OpenAI به اشتراک بگذارد. این مدل بخشی از بار نگهداری شواهد را به سمت مشتری منتقل می‌کند؛ موضوعی که برای سازمان‌های حساس به حریم خصوصی می‌تواند مزیت باشد، اما هم‌زمان نیاز عملیاتی به logging داخلی مفید ایجاد می‌کند.

گزارش‌های مستقل نیز بر همین tradeoff تمرکز کرده‌اند. Bloomberg گزارش داد که OpenAI در حال تقویت فرایندهای ایمنی برای کاربران پولیِ سیستم‌های قدرتمند خود است و در عین حال تعهدات zero-retention را برای مشتریان واجد شرایط حفظ می‌کند. Computerworld این معماری را روشی privacy-preserving برای مرتبط کردن ریسک در چند تعامل توصیف کرد، اما یک مسئله اساسی را برجسته ساخت: تشخیص رفتار در طول زمان همچنان به نوعی نمایش پایدار نیاز دارد، حتی اگر آن نمایش یک signal مشتق‌شده باشد و نه محتوای قابل خواندن.

این تمایز برای معماران سازمانی مهم است. Private Safety Processing مفهوم state را حذف نمی‌کند؛ بلکه نوع state نگهداری‌شده، محل آن و افرادی که می‌توانند آن را بخوانند تغییر می‌دهد. سازمانی که این طراحی را ارزیابی می‌کند باید بپرسد چه signalهایی تولید می‌شوند، چه مدت باقی می‌مانند، چه رویدادهایی می‌توانند enforcement را فعال کنند، این signalها چگونه به شواهد سمت مشتری متصل می‌شوند و اگر تصمیمی مورد اعتراض قرار گیرد چه audit trailای در دسترس خواهد بود. بدون پاسخ روشن به این پرسش‌ها، زود است که این preview را راه‌حل کامل تنش میان privacy، safety و accountability بدانیم.

این معماری همچنین می‌تواند شکل incident response را تغییر دهد. اگر کارکنان OpenAI نتوانند محتوای flagشده را ببینند، مشتری ممکن است به نگهدارنده اصلی forensic record تبدیل شود. در نتیجه، سازمان‌های استفاده‌کننده از ZDR باید مشخص کنند آیا application logها، telemetry امنیتی و agent traceهای خودشان برای بازسازی رخداد کافی است، بدون آنکه هدف اصلی انتخاب ZDR را نقض کنند. پاسخ مناسب در هر صنعت متفاوت خواهد بود. برای مثال، یک سامانه سلامت ممکن است نیازهای retention و access control متفاوتی از یک coding agent داشته باشد که روی کد اختصاصی کار می‌کند.

برای تیم‌های governance، درس کاربردی اصلی این است که کنترل‌های privacy و safety باید با هم طراحی شوند و نباید صرفاً به‌عنوان دو checkbox مستقل در procurement دیده شوند. تعهد ZDR می‌تواند exposure داده حساس در سمت provider را کاهش دهد، اما نیاز مشتری به authorization، retention، investigation و فرایند appeal را از بین نمی‌برد. به همین ترتیب، یک detector بین‌تعاملی می‌تواند توان provider برای کشف سوءاستفاده را افزایش دهد، اما لزوماً transparency کافی برای توضیح دلیل alert یا اثبات خطای طبقه‌بندی یک workflow مشروع در اختیار مشتری نمی‌گذارد.

یک پیام گسترده‌تر نیز برای امنیت agentها وجود دارد. کنترل‌های ایمنی مبتنی بر یک prompt، روزبه‌روز با سیستم‌هایی که در چندین مرحله برنامه‌ریزی و عمل می‌کنند نامتناسب‌تر می‌شوند. agentهای طولانی‌مدت می‌توانند اختیار بیشتری جمع کنند، با ابزارهای بیرونی تعامل داشته باشند و از intent اولیه کاربر فاصله بگیرند. OpenAI مشخصاً ادامه عمل agent پس از دستور توقف را نمونه‌ای از ریسکی می‌داند که سیستم جدید برای تشخیص آن طراحی شده است. این موضوع تغییر وسیع‌تری را از moderation در سطح prompt به monitoring در سطح session و action تقویت می‌کند.

با این حال، این اعلام هنوز باید به‌عنوان preview دیده شود، نه یک کنترل بالغ با تضمین‌های مستقل تأییدشده. OpenAI می‌گوید Private Safety Processing در حال حاضر با مشتریان اولیه آزمایش می‌شود و برنامه دارد rollout را در سپتامبر آغاز کند و هم‌زمان یک white paper فنی منتشر کند. هنوز جزئیات فنی کافی منتشر نشده است تا طرف‌های بیرونی بتوانند نحوه correlation میان تعاملات، نرخ false positive، روش اجرای customer-controlled key management یا امکان audit مستقل signalهای enforcement را بررسی کنند.

OpenAI همچنین یک محدودیت مهم برای تعهد ZDR ذکر می‌کند. محتوایی که احتمال دارد شامل سوءاستفاده جنسی از کودکان باشد همچنان تابع الزامات قانونی گزارش‌دهی است و تصاویر flagشده به‌عنوان CSAM احتمالی می‌توانند حتی در استقرارهای ZDR برای بررسی دستی و گزارش نگهداری شوند. برای خریداران سازمانی، این استثنا یادآوری می‌کند که zero retention یک تعهد محصولی و حقوقی محدود و تعریف‌شده است، نه ادعایی مطلق که تحت هیچ شرایطی هیچ اطلاعاتی قابل نگهداری نیست.

بنابراین اهمیت عملی این خبر در این نیست که OpenAI مسئله monitoring محرمانه ایمنی را به‌طور کامل حل کرده است. تغییر مادی این است که یک ارائه‌دهنده frontier model به سمت معماری‌ای حرکت می‌کند که در آن تشخیص ریسک در چند تعامل از دسترسی مستقیم provider به محتوای مشتری جدا می‌شود. اگر white paper سپتامبر ادعاها را پشتیبانی کند و این کنترل در محیط production رفتار قابل پیش‌بینی داشته باشد، Private Safety Processing می‌تواند به یک design pattern مهم برای استقرار AI در محیط‌های regulated تبدیل شود. تا آن زمان، معماران و تیم‌های governance بهتر است آن را یک مکانیزم promising برای ایمنی همراه با حفظ privacy بدانند که auditability، failure modeها و مسئولیت‌های عملیاتی آن هنوز نیازمند آزمون است.