Anthropic بخشی از بحث «کندتر کردن توسعه هوش مصنوعی مرزی» را از سطح پیشنهاد به یک تعهد اجرایی رسانده است. دریو آمودی میگوید این شرکت ارزیابان مستقل بیرونی را به فرایندهای ایمنی خود راه میدهد و برای آنها دسترسی مداومی در نظر میگیرد که از نظر عملی به دسترسی تیمهای داخلی ارزیابی ریسک نزدیک باشد.
آمودی در یادداشت «We Must Pace the Frontier» یک برنامه سهمرحلهای پیشنهاد میکند. مرحله اول مهمتر است، چون Anthropic گفته برای اجرای آن منتظر توافق صنعت نمیماند. طبق این طرح، ارزیابان بیرونی باید بتوانند با لپتاپ و دسترسی سازمانی کار کنند، به ابزارها و محیطهای مرتبط دسترسی داشته باشند، مستقیم با کارکنان گفتوگو کنند و درباره خطرها، رخدادها، شیوههای ایمنی و محدودیتهایی که در دسترسیشان اعمال شده گزارش عمومی منتشر کنند.
رویترز گزارش داده است که سم آلتمن نیز از اصل پیشنهاد حمایت کرده و گفته OpenAI دسترسی مشابهی برای ارزیابان مستقل فراهم خواهد کرد. این همراهی، ایده را از یک برنامه داخلی فراتر میبرد؛ اما هنوز استاندارد مشترک صنعت نیست. Anthropic گفته تیم بازبینی بیرونی را «در آینده نزدیک» دعوت میکند، ولی در متن فعلی نام تیم نهایی، تاریخ شروع قطعی، دستورالعمل مشترک ممیزی یا سازوکار الزامآور میان شرکتها منتشر نشده است.
بنابراین نکته مهم برای حاکمیت هوش مصنوعی، شعار «کاهش سرعت» نیست. اگر این تعهد همانطور که توصیف شده اجرا شود، ارزیابی مستقل از یک آزمون مقطعی روی مدل به نظارتی پیوسته بر فرایند آموزش، ارزیابی و عرضه تبدیل میشود.
ارزیاب بیرونی باید فرایند را ببیند، نه فقط مدل نهایی را
بیشتر ارزیابیهای مستقل امروز در یک محدوده مشخص انجام میشوند: دسترسی به یک مدل، API، محیط آزمون یا بازه زمانی محدود. پیشنهاد Anthropic یک مرحله عقبتر میرود و خود فرایند ساخت و عرضه مدل را وارد محدوده بررسی میکند.
آمودی میگوید ارزیابان باید بتوانند بررسی کنند که شرکت واقعاً به تعهدات اعلامشده در آموزش، استقرار، عملیات و سازوکارهای حفاظتی پایبند است یا نه. در این طرح، دسترسی به محیطهای کاری، ابزارها و مجوزهایی نزدیک به تیمهای داخلی ارزیابی ریسک پیشبینی شده است؛ البته با استثناهایی برای الزامات قانونی، قراردادها، اطلاعات محرمانه مشتریان و مسائل امنیتی. نقش ارزیاب فقط سنجش مدل آماده نیست؛ گزارش رخدادها و بررسی فرایند آموزش و سازوکارهای داخلی نیز جزو کار او خواهد بود.
این تفاوت مهم است، چون بسیاری از شکستهای جدی الزاماً در یک امتیاز بنچمارک دیده نمیشوند. ممکن است مدل از آزمون عرضه عبور کند، اما جداسازی دسترسیها، پایش، پالایش داده، محیط آموزش یا شیوه واکنش به رخداد ایراد داشته باشد. آمودی نیز استدلال خود را به رخدادهای اخیر در زمینه همراستایی و رفتار عاملها پیوند میدهد و میگوید بازبین مستقل باید بتواند جزئیات عملیاتی را ببیند.
Anthropic همچنین میگوید بازبینها باید حق انتشار یافتههای مهم را بدون کنترل تحریری شرکت داشته باشند. شرکت فقط برای موارد محدود مانند اطلاعات حساس امنیتی، محرمانگی حقوقی، اسرار تجاری یا اطلاعات محرمانه اشخاص ثالث حق حذف بخشهایی از گزارش را برای خود محفوظ میداند. در عین حال، ارزیاب میتواند علناً اعلام کند که حذف اطلاعات، نتیجهگیری او را تحت تأثیر قرار داده است.
تغییر اصلی، راستیآزمایی مداوم است
تحلیل Aipolix این است که بخش ماندگارتر این پیشنهاد، واژه «کاهش سرعت» نیست؛ مهمتر این است که ارزیابی مستقل به یک حضور مستمر تبدیل شود.
ممیزی دورهای فقط تصویری از یک لحظه میدهد. ارزیابی که بهطور مداوم در کنار فرایند کار حضور دارد، دستکم در نظریه، میتواند ببیند سیاستها در آموزش مدل، آزمونهای داخلی، رسیدگی به رخداد و تصمیم عرضه چگونه اجرا میشوند. در این حالت پرسش فقط این نیست که «مدل از یک آزمون عبور کرد یا نه؟» بلکه میتوان پرسید «آیا سازمان همان کنترلهایی را که ادعا میکند در عمل هم اجرا کرده است؟»
برای تیمهای مهندسی، تفاوت شبیه سنجش یک برنامه در یک نوبت و داشتن دید پیوسته روی سامانهای است که آن را تولید و عرضه میکند. حالت دوم میتواند انحراف کنترلها، استثناهای موقت و ضعفهای فرایندی را آشکار کند که در ارزیابی مقطعی دیده نمیشوند.
البته دسترسی دائمی خودش سطح کنترلی جدیدی میسازد. اجرای جدی چنین مدلی باید تکلیف استقلال ارزیاب، تعارض منافع، مدیریت اعتبارنامهها، جداسازی داده، اطلاعات مشتری، محرمانگی حقوقی، مسیر اعلام رخداد، نگهداری شواهد و اختلاف نظر میان شرکت و ارزیاب را روشن کند.
یادداشت Anthropic بخشی از این مرزها، بهویژه حق انتشار و محدوده حذف اطلاعات، را توضیح میدهد؛ اما هنوز یک استاندارد عملیاتی کامل ارائه نمیکند. عبارت «دسترسی شبیه کارکنان» جهت را نشان میدهد، نه یک مشخصات ممیزی قابل تکرار.
حمایت OpenAI هماهنگی را محتملتر میکند، نه قطعی
رویترز گزارش داده که آلتمن با پیشنهاد آمودی موافق بوده و گفته OpenAI نیز به ارزیابان مستقل دسترسی در سطحی مشابه کارکنان خواهد داد. این موضوع اهمیت دارد، چون مرحله دوم برنامه آمودی به توافق چند شرکت مرزی بر سر معیارهای مشترک ایمنی و محدود کردن رشد بدون کنترل قابلیتها وابسته است.
Anthropic میتواند با اجرای یکجانبه نشان دهد این مدل نظارت چگونه کار میکند، اما بهتنهایی نمیتواند شرایط یکسانی برای همه ایجاد کند. محدودیتهای حقوقی و رقابتی هم وجود دارند. آمودی اشاره میکند که بعضی شکلهای هماهنگی میان شرکتها ممکن است با ملاحظات ضدانحصار روبهرو شوند و برای همین نقش دولت یا مجوز محدود قانونی را ضروری میداند. ترجیح نهایی او نیز مقرراتی است که همه آزمایشگاههای مرزی را پوشش دهد، نه تکیه صرف بر تعهد داوطلبانه.
پس اتفاق فعلی یک پیمان صنعتی نیست. با یک آزمایش داوطلبانه در حاکمیت روبهرو هستیم که دستکم یک رقیب بزرگ نیز اصل آن را پذیرفته است.
برای تبدیلشدن به استاندارد قابل ممیزی چه چیزهایی کم است؟
ارزش واقعی این طرح زمانی روشن میشود که خود اجرای آن هم قابل ارزیابی باشد.
Anthropic هنوز تیم نهایی بازبینی را معرفی نکرده است. از شروع «در آینده نزدیک» صحبت شده، اما تاریخ مشخصی وجود ندارد. همچنین چارچوب عمومی و مشترکی منتشر نشده که بگوید کدام رخدادها الزاماً باید گزارش شوند، ارزیاب باید به چه نوع شواهد داخلی دسترسی داشته باشد، گزارشها با چه فاصلهای منتشر شوند و اختلاف درباره محدودیت دسترسی یا حذف اطلاعات چگونه حل شود.
سازوکار الزامآور میان شرکتها هم فعلاً وجود ندارد. ممکن است دو شرکت هر دو از عبارت «ارزیاب مستقل با دسترسی داخلی» استفاده کنند، اما در عمل دامنه دسترسی آنها بسیار متفاوت باشد.
یک استاندارد عملی باید فراتر از وعده دسترسی برود و حداقل حقوق ارزیاب، معیارهای استقلال، شیوه نگهداری شواهد، تعهدهای گزارشدهی و راهی برای آشکارکردن محدودیتها را تعریف کند. در آن صورت، ارزیابی مستمر میتواند از یک برنامه اختصاصی ایمنی به یک جزء قابل استفاده مجدد در معماری حاکمیت تبدیل شود.
چرا این الگو فقط به آزمایشگاههای مرزی مربوط نیست؟
بیشتر سازمانها هیچوقت مدل مرزی آموزش نمیدهند، اما الگوی کنترلی این پیشنهاد برای آنها هم کاربرد دارد.
شرکتهایی که عاملهای پرریسک را وارد عملیات میکنند، معمولاً درباره کنترلهای داخلی ادعاهای مشخصی دارند: عامل به چه ابزارهایی دسترسی دارد، چه کسی یک اقدام را تأیید میکند، چه دادهای قابل استفاده است، رخدادها ثبت میشوند یا نه و آیا امکان بازگردانی وجود دارد. داشبورد و سند سیاست مفید است، اما همچنان توسط همان سازمانی تولید میشود که سامانه را اداره میکند.
در کاربردهای حساستر، بازبین مستقل باید آنقدر به مسیر اجرای واقعی نزدیک باشد که بتواند بررسی کند کنترل اعلامشده با کنترل واقعی یکی است یا نه. بسته به سامانه، این میتواند شامل دسترسی به گزارشهای ممیزی، تنظیمات سیاست، نتایج ارزیابی، سوابق رخداد و بخشهایی از محیط عملیاتی باشد؛ نه فقط یک گزارش نهایی انطباق.
حتی اگر برنامه بزرگتر آمودی برای کاهش سرعت صنعت هیچوقت به سیاست عمومی تبدیل نشود، این بخش از پیشنهاد ارزش پیگیری دارد: راستیآزمایی پیوسته میتواند فاصله میان «تعهد ایمنی» و فرایندی را که باید آن تعهد را اجرا کند آشکار کند.
فعلاً Anthropic یک تعهد روشن برای آزمایش این مدل داده است. شواهد بعدی عملیاتی خواهند بود: چه کسانی ارزیابی را انجام میدهند، واقعاً به چه چیزهایی دسترسی دارند، چه چیزهایی را میتوانند منتشر کنند و آیا دیگر آزمایشگاههای مرزی نیز سطح مشابهی از دسترسی را اجرا میکنند.