OpenAI در ۱۶ نوامبر ۲۰۲۶ اعلام کرد با چهار ارزیاب مستقل، یعنی Apollo Research، METR، Transluce و Goodfire، برای آنچه نخستین مرحله ارزیابی‌های جاسازی‌شده می‌نامد قرارداد امضا کرده است. به گفته این شرکت، هدف آن است که کارشناسان مستقل در بازه‌ای طولانی به مدل‌ها و سامانه‌های داخلی دسترسی عمیق داشته باشند تا هم‌راستایی مدل و کارآمدی سپرهای ایمنی را بسنجند، به‌ویژه جایی که این پرسش‌ها برای پرونده‌های ایمنی OpenAI اهمیت دارد.

طبق این نوشته، ارزیاب‌ها بسته به نیاز هر ارزیابی، به برخی از همان منابع داخلی که پژوهشگران OpenAI به کار می‌برند دسترسی می‌گیرند. این فهرست شامل نقاط بازرسی مدل، کد منبع، داده‌های آموزش و ارزیابی، سامانه‌های پایش، مستندات فنی و گفت‌وگو با پژوهشگران و مهندسان مسئول کار است. OpenAI گفت ارزیابی‌های اولیه بر هم‌راستایی و سپرهای ایمنی در دوره آموزش و استفاده داخلی تمرکز دارد و این کار تعهدات ناشی از White House Accord on Super Intelligence را برای ارزیابی مستقل کنترل‌های ایمنی پشتیبانی می‌کند.

این شرکت برای هر سازمان مأموریتی جدا توصیف کرد. Apollo Research باید بسنجد آیا مدل‌ها می‌توانند پنهانی خلاف نیت سازندگان عمل کنند و آیا سپرهای OpenAI چنین رفتاری را تشخیص می‌دهند؛ چهار ادعا آزموده می‌شود: این‌که آموزش مشوق براندازی نبوده، ارزیابی‌های سخت و تیم قرمز آن را برنمی‌انگیزد، مدل‌ها در استفاده داخلی چنین تلاشی نکرده‌اند، و استدلال پشت براندازی قابل کشف خواهد بود. برای مرحله نخست، OpenAI گفت Apollo به مدل‌های عمومی و منتشرنشده منتخب و نقاط بازرسی آموزش، داده‌ها و نتایج ارزیابی مرتبط، سوابق مداخله در آموزش، سامانه‌های پایش و رفتارهای علامت‌خورده، و پژوهشگرانی که زمینه بدهند، به‌همراه ابزار و توان محاسباتی برای آزمون مستقل، دسترسی خواهد داشت.

به گفته OpenAI، Goodfire پژوهشگران تفسیرپذیری را مستقر می‌کند و از سکوی خود برای تحلیل درون مدل‌ها استفاده خواهد کرد، با تمرکز بر پایش دورهای آموزش، اشکال‌زدایی و هم‌راستایی. مخاطب اصلی این ارزیابی‌ها پژوهشگران داخلی OpenAI هستند؛ Goodfire همچنین با پیشروی همکاری، آموخته‌ها را منتشر خواهد کرد. برای METR دو ارزیابی در نظر گرفته شده است. در اولی، رفتار ناهماهنگ در آنچه OpenAI بزرگ‌ترین اجرای یادگیری تقویتی خود تا امروز خوانده بررسی می‌شود، از جمله شکست‌هایی که آزمون‌ها و پایش‌های موجود ممکن است از قلم انداخته باشند، با امکان نمونه‌گیری از نقاط بازرسی مرتبط، مسیرهای آموزش و ارزیابی، و سوابق پایش ناهماهنگی همان اجرا. OpenAI گفت دامنه این مرحله نخست از پیشنهاد منتشرشده METR محدودتر است. ارزیابی گسترده‌تر پایش‌گرها به‌صورت توافق اولیه و هنوز در انتظار توافق دو طرف درباره دامنه توصیف شده است، پس از یک تمرین سه هفته‌ای اخیر تیم قرمز روی پایش‌گرها با METR.

Transluce باید ارزیابی اولیه‌ای از ارزیابی‌های هم‌راستایی پس از آموزش OpenAI انجام دهد و کیفیت و پوشش آن‌ها را بسنجد، با دسترسی به مدل‌های عمومی و منتشرنشده منتخب، خود ارزیابی‌ها و نتایج مرتبط، داده‌های رفتاری پشتیبان و مستندات پرونده ایمنی، و پژوهشگرانی که زمینه فراهم کنند. OpenAI و Transluce همچنین به گفته این متن قصد دارند در اوایل ۲۰۲۷ ارزیابی دیگری حدود هشت هفته با دسترسی گسترده‌تر انجام دهند، از جمله اطلاعاتی درباره این‌که نتایج ارزیابی چگونه بر تصمیم انتشار مدل اثر می‌گذارد.

OpenAI گفت پروتکل‌هایی را با نظر ارزیاب‌ها تدوین کرده است. کسانی که به اطلاعات محرمانه حساس نیاز دارند در محل دفترهای OpenAI کار خواهند کرد و دستگاه‌های این شرکت را دریافت می‌کنند. کمیته ایمنی و امنیت هیئت OpenAI Foundation، که به‌عنوان نهاد نظارت مستقل توصیف شده، بر ارزیابی‌ها دید خواهد داشت، گزارش‌های سانسورنشده دریافت می‌کند و می‌تواند خصوصی با ارزیاب‌ها سخن بگوید؛ اختلاف‌های حل‌نشده می‌تواند به همین کمیته ارجاع شود. به گفته OpenAI، ارزیاب‌ها در انتشار استقلال دارند، اما شرکت حق حذف اطلاعات محرمانه را برای خود نگه می‌دارد و ممکن است تأخیر در افشای مسئولانه بخواهد. گفت‌وگو با کارکنان غیررسمی است و مسیر جداگانه‌ای برای تأیید کتبی جملاتی که OpenAI حاضر به گواهی آن‌هاست وجود دارد. در پاورقی، OpenAI گفت Apollo Research و Goodfire پاداش مالی می‌پذیرند که به نتیجه ارزیابی مشروط نیست، در حالی که METR و Transluce پاداش مالی نمی‌پذیرند اما ممکن است اعتبار API یا توان محاسباتی برای استفاده در ارزیابی‌ها بپذیرند.

این اعلام، توصیف خود OpenAI از قراردادها و دسترسی‌های پیش‌بینی‌شده است. یافته‌های ارزیاب‌ها در این اطلاعیه مرحله نخست منتشر نشده است.

منابع