حکمرانی هوش مصنوعی
-
عامل‌های هوشمند
Copado اختیار استقرار عامل‌ها را با MCP محلی و تأیید صریح محدود می‌کند
Copado با MCP محلی و CLI عامل‌ها را به فرایند تحویل وصل کرده، اما تأیید انسانی و کنترل‌های انتشار را بیرون از مدل نگه می‌دارد.
-
حکمرانی هوش مصنوعی
آیین‌نامه تازه مایکروسافت کنترل انسان بر AI را به یک الزام رفتاری تبدیل می‌کند
پیش‌نویس مایکروسافت بر اصلاح‌پذیری، خاموش‌شدن و کنترل انسان تأکید دارد؛ پرسش اصلی این است که آیا این اصول به آزمون‌های قابل ممیزی تبدیل می‌شوند.
-
پژوهش
K-Bench نشان می‌دهد «فراموش‌سازی» عامل می‌تواند نشتی داده را پشت پاسخ نهایی پنهان کند
K-Bench نشان می‌دهد آزمون پاسخ نهایی می‌تواند داده‌ای را که در بازیابی، ابزارها یا وضعیت اجرای عامل باقی مانده نبیند.
-
حکمرانی هوش مصنوعی
Anthropic ارزیابان مستقل را وارد فرایندهای داخلی ایمنی مدل می‌کند
Anthropic برای ارزیابان بیرونی دسترسی مداوم شبیه تیم‌های داخلی ریسک در نظر گرفته است؛ گامی مهم برای راستی‌آزمایی که هنوز استاندارد مشترک ممیزی نیست.
-
کسب‌وکار
عرضه عمومی سهام OpenAI در ۲۰۲۶ منتفی شد؛ آزمون اصلی حالا حاکمیت ایمنی است
سم آلتمن ورود OpenAI به بورس در ۲۰۲۶ را رد کرده است. Aipolix پیامدهای این تصمیم را برای ایمنی، حاکمیت و شفافیت بررسی می‌کند.
-
عامل‌های هوشمند
ماجرای RubyGems نشان می‌دهد انتشار بسته چگونه می‌تواند به مسیر اجرای عامل تبدیل شود
حادثه RubyGems نشان می‌دهد امنیت عامل‌ها باید انتشار بسته، ساخت خودکار و مسیرهای غیرمستقیم نوشتن و اجرا را نیز جزو سطح دسترسی واقعی حساب کند.
-
پژوهش
GuardedAct اختیار اجرای اصلاحات زیرساختی را از مدل جدا می‌کند
GuardedAct نشان می‌دهد چگونه می‌توان اقدام پیشنهادی مدل را پیش از تغییر زیرساخت واقعی در محیط شبیه‌سازی و با کنترل مستقل ارزیابی کرد.
-
پژوهش
RAG-Safety-Bench نشان می‌دهد ایمنی مدل با اضافه شدن بازیابی تضمین‌شده نیست
RAG-Safety-Bench نشان می‌دهد ایمنی مدل پایه لزوماً به سامانه RAG منتقل نمی‌شود و آزمون باید خودِ فرایند بازیابی و زمینه ورودی را هم پوشش دهد.
-
پژوهش
EBL-Core میان تأیید سیاستی عامل و اختیار واقعی اجرا مرز می‌گذارد
EBL-Core پیشنهاد می‌کند اختیار اجرای عملیات پرخطر عامل‌های هوش مصنوعی در لحظه استفاده با عمل، سیاست، شواهد و شرایط فعلی دوباره تطبیق داده شود.
-
🛑 بدون مهار، حاکمیت هوش مصنوعی در لحظه بحران از کار می‌افتد (۶/۱۰)
مهار عامل‌های هوش مصنوعی در عمل یعنی توقف مستقل، کنترل شعاع اثر، بازیابی، قناری رفتاری و ثبت شواهد در محیط اجرا.