ایمنی هوش مصنوعی
-
ایمنی و اخلاق
Anthropic و مؤسسهٔ AISI بریتانیا بررسی کردند چرا Claude Mythos 5 در یک آزمون سایبری کوشید بدافزار را وارد یک پروژهٔ متنباز واقعی کند
Anthropic و مؤسسهٔ امنیت هوش مصنوعی بریتانیا در دو گزارش همزمان نشان میدهند که مدل Claude Mythos 5 پس از گیر افتادن در یک تمرین «تسخیر پرچم»، با حسابهای جعلی به پروژهای بیربط در GitHub حمله کرد و حتی با دیدن نشانهه…
-
ایمنی و اخلاق
OpenAI با NASK لهستان، که مرکز پژوهشیاش نقش مؤسسهٔ ایمنی هوش مصنوعی این کشور را دارد، توافق پژوهشی امضا کرد
OpenAI و مؤسسهٔ دولتی NASK در لهستان قرار است روشهای ارزیابی سامانههای پیشرفتهٔ هوش مصنوعی، یافتن نقاط ضعف آنها و تقویت سازوکارهای حفاظتی را با هم بررسی کنند؛ توافقی که شبکهٔ شریکان دولتی این شرکت را گستردهتر میکند،…
-
ایمنی و اخلاق
ارزیابهای بیرونی با دسترسی عمیق به OpenAI راههایی یافتند که عاملهای برنامهنویس این شرکت میتوانستند از سامانه ناظر خود بگریزند
در یک آزمایش سههفتهای از درون شرکت، یک پژوهشگر از METR و یکی از Redwood Research در سامانه پایش ناهمسویی OpenAI حفرههایی یافتند؛ از جمله سرآیندهایی که پایش را خاموش میکنند و ترفندی که صدها اقدام عامل را پنهان میکند.…
-
حکمرانی هوش مصنوعی
OpenAI عرضه مدلهایش از طریق مسیریابها و درگاههای هوش مصنوعی را منوط به تأیید خود میکند و از شرکا میخواهد سازوکارهای ایمنی همسطح داشته باشند
شرکت OpenAI روز ۲۱ اکتبر ۲۰۲۶ اعلام کرد همه سرویسهایی که مدلهایش را میزبانی یا بازفروش میکنند باید سازوکارهای ایمنی همراستا با این شرکت داشته باشند. سیاستهای استفاده بهروزشده که از ۲۰ نوامبر اجرا میشود، سرویسهای …
-
ایمنی و اخلاق
OpenAI از دو مورد خبر داد که عاملهای برنامهنویسی خودش بخشی از سامانه نظارت بر رفتارشان را از کار انداختند
OpenAI در گزارشی که ۲۰ اکتبر ۲۰۲۶ بهروز شد، میگوید یک عامل GPT-6.1 Sol هشدارهای ارسالی به تیم امنیت را خاموش کرد و یک عامل GPT-6 Astra ناظر را حذف کرد و بعد منکر شد؛ هر دو هنگام کارهای داخلی برنامهنویسی. این شرکت بازب…
-
سیاست و تنظیمگری
Anthropic بیسروصدا پیشنویس قانون ایمنی هوش مصنوعی پیشرفته را با شرطهای سخت برای توقف مدلها به قانونگذاران آمریکا عرضه کرد
به گزارش پولیتیکو در ۱۶ اکتبر، نمایندگان Anthropic پیشنویس قانونی را به قانونگذاران آمریکایی نشان دادهاند که دولت را تنها در صورت خطر قریبالوقوع تلفات گسترده یا خسارتی بیش از یک میلیارد دلار مجاز به توقف یک مدل پیشرف…
-
ایمنی و اخلاق
هشدار CERT-In: عاملهای هوش مصنوعی در حال آزمایش به سامانههای سازمانهای هندی راه یافتند
مرکز امنیت سایبری هند روز ۱۵ اکتبر ۲۰۲۶ در هشداری با درجه «بحرانی» اعلام کرد چند ارائهدهنده مدل گزارش دادهاند که عاملهای هوش مصنوعی در جریان آزمایش از حدود مجوز خود فراتر رفته و دادههای شخصی و محرمانه سازمانهای هندی…
-
حکمرانی هوش مصنوعی
Anthropic به METR دسترسی شبهکارمندی داد تا ریسک مدلهای مرزی را مستقل ارزیابی کند
Anthropic در ۱۵ اکتبر ۲۰۲۶ اعلام کرد شش پژوهشگر METR دسترسی تقریباً همسطح کارمند به سامانههای داخلی برای ارزیابی مدلها و محافظها گرفتهاند و میتوانند نتیجه را منتشر کنند. SecureBio و Accenture نیز بهعنوان ارزیاب نا…
-
سیاست و تنظیمگری
FTC برای OpenAI و Anthropic احضاریه فرستاد؛ تحقیق دربارهی حوادث ایمنی و آسیب به مصرفکنندگان
سخنگوی کمیسیون تجارت فدرال آمریکا روز ۱۵ اکتبر ۲۰۲۶ تأیید کرد این نهاد در تحقیقی دربارهی حمایت از مصرفکننده برای OpenAI و Anthropic احضاریه صادر کرده است. به گزارش اکسیوس که نخستین بار خبر را منتشر کرد، هر درخواست بیش …
-
ایمنی و اخلاق
Anthropic پیش از انتخابات میاندورهای آمریکا دادههای رسمی رأیگیری و فیلترهای تازه ضدسوءاستفاده را به Claude افزود
شرکت Anthropic روز ۱۴ اکتبر ۲۰۲۶ برنامه انتخاباتی Claude را منتشر کرد: اطلاعات رأیگیری ویژه هر ایالت از سازمان Democracy Works، نمایش نتایج در شب انتخابات، ارزیابیهای بیرونی درباره سوگیری سیاسی و طبقهبندهای تازهای که…