ایمنی و اخلاق
OpenAI پس از یافتن مسیر خروج DNS توسط یک عامل، کارهای مبتنی بر ابزار را متوقف نگه داشته است
OpenAI رخداد عبور از محدودیت شبکه از مسیر DNS و پژوهش تزریق پرامپت خودتکثیرشونده را افشا کرد؛ دو نمونه از اهمیت مرزهای فنی اختیار عامل.
امنیت عامل‌ها
-
ایمنی و اخلاق
حمله به MemTensor نشان داد حافظهٔ عامل‌های هوش مصنوعی یک سطح حملهٔ زنجیرهٔ تأمین است
نسخه‌های مخرب MemOS در npm و PyPI کد سرقت اعتبارنامه داشتند. بررسی Aipolix از نسخه‌های آسیب‌دیده و مرز اعتماد حافظهٔ عامل.
-
عامل‌های هوشمند
ماجرای RubyGems نشان می‌دهد انتشار بسته چگونه می‌تواند به مسیر اجرای عامل تبدیل شود
حادثه RubyGems نشان می‌دهد امنیت عامل‌ها باید انتشار بسته، ساخت خودکار و مسیرهای غیرمستقیم نوشتن و اجرا را نیز جزو سطح دسترسی واقعی حساب کند.
-
پژوهش
EBL-Core میان تأیید سیاستی عامل و اختیار واقعی اجرا مرز می‌گذارد
EBL-Core پیشنهاد می‌کند اختیار اجرای عملیات پرخطر عامل‌های هوش مصنوعی در لحظه استفاده با عمل، سیاست، شواهد و شرایط فعلی دوباره تطبیق داده شود.
-
پژوهش
پژوهش تازه: داده‌های باطل‌شده در حافظه عامل ممکن است دوباره مبنای تصمیم شوند
پژوهشی روی پنج سامانه حافظه عامل نشان می‌دهد رکوردهای نامعتبر ممکن است هنگام بازیابی برگردند و با ثبت دوباره تصمیم، به داده‌ای تازه و اثرگذار تبدیل شوند.
-
عامل‌های هوشمند
Meta برای Muse یک نگهبان جدا از عامل اجرا ساخته است
Muse متا با ماشین مجازی اختصاصی و Sentinel جداگانه، میان تصمیم عامل و اجرای اینترنتی یک مرز کنترلی مستقل ایجاد می‌کند.
-
پژوهش
به‌روزرسانی هوک‌ها می‌تواند مسیری خارج از کنترل مستقیم مدل باز کند
پژوهش HookPry نشان می‌دهد چرا تغییر هوک‌های اجرایی باید مانند تغییر مجوز بررسی شود و با کمترین سطح دسترسی و ثبت منشأ اجرا همراه باشد.
-
پژوهش
پژوهش CPE نشان می‌دهد ساخت اطلاعات زمینه‌ای عامل‌ها خودش یک مرز امنیتی است
پژوهش CPE نشان می‌دهد اطلاعات کم‌اعتماد می‌توانند هنگام ساخت ورودی عامل به سطح اختیار بالاتری برسند و چرا منشأ، دامنه و ماندگاری باید کنترل شوند.
-
پژوهش
عوامل هوش مصنوعی در حال تکامل می توانند تجربه مسموم را به مهارت های پایدار تبدیل کنند
تحقیقات جدید نشان می‌دهد که عوامل خود تکامل‌یافته می‌توانند تعاملات مسموم را به‌عنوان مهارت‌های قابل استفاده مجدد ذخیره کنند و منشأ مهارت، اعتبارسنجی و بازگشت را به بخشی از مرز امنیتی تبدیل کنند.
-
حکمرانی هوش مصنوعی
postmortem جدید OpenAI شکست‌های کنترل agent در رخداد Hugging Face را آشکار می‌کند
گزارش ۲۶ اوت OpenAI نشانه‌های هشدار، تأخیر در detection، هماهنگی agentها و کنترل‌های containment تازه پس از breach Hugging Face را تشریح می‌کند.
