OpenAI روز ۱۶ نوامبر ۲۰۲۶ مجموعهای از ابزارها را اعلام کرد که برای پیشگیری، شناسایی و واکنش به سوءاستفاده جنسی آنلاین از کودکان ساخته شده است. به گزارش TechCrunch و The Verge، این بسته چهار بخش دارد: طبقهبند تازهای برای تصاویر مواد سوءاستفاده جنسی از کودکان (CSAM)، هشدار و مسدودسازی موقت در ChatGPT برای کاربرانی که میکوشند محتوای جنسیکننده کودکان بسازند یا به آن برسند، راهنما برای توسعهدهندگان، و ابزار و آموزش مبتنی بر هوش مصنوعی برای مجریان قانون. OpenAI آن را در نشست خبریای در واشینگتن معرفی کرد.
طبقهبند محور بسته است. OpenAI میگوید آن را با National Center for Missing and Exploited Children یا NCMEC ساخته و از طریق API بهطور رایگان در اختیار شرکتهای منتخب و سازمانهای تأییدشده میگذارد و برای اشتراکگذاری آن با Tech Coalition و ROOST کار میکند. این ابزار در تصاویری که پیشتر ندیده نشانههای بصری سوءاستفاده را میجوید و امتیازی برمیگرداند که راهنمای بازبینهای انسانی باشد. John Buckley، مسئول سیاستگذاری عمومی ایمنی کودکان در OpenAI، به خبرنگاران گفت این نخستین طبقهبند CSAM است که بهطور گسترده در دسترس قرار میگیرد و نشانگری ویژه برای محتوای تولیدشده با هوش مصنوعی دارد؛ به گفته او این نشانگر به بازپرسان کمک میکند تصویر کودکی خیالی را از کودکی واقعی تشخیص دهند. OpenAI میگوید در آزمونهای اولیه با شرکا، طبقهبند ۴۸ درصد تصویر کمتر را علامت زد و همان تعداد تصویر سوءاستفاده را یافت و احتمال سوءاستفادهای بودن تصاویر علامتخورده دو برابر بود.
در ChatGPT، کاربری که درخواستی برای جنسیکردن کودکان بدهد هشداری میبیند که او را به کمک تخصصی راهنمایی میکند. نخستین تخلف به توقف ۲۴ ساعته دسترسی و هشدار درباره امکان بستهشدن دائمی حساب میانجامد و تکرار تخلف ممکن است به حذف حساب برسد. OpenAI میگوید اپلیکیشن از پیش چنین درخواستهایی را مسدود میکند و همه موارد CSAM را به NCMEC گزارش میدهد. شرکت میگوید متن پیامها را با Protect Children، Lucy Faithfull Foundation و Joel Scanlan از دانشگاه تاسمانی، که یک آزمایش پیامهای بازدارنده را مستقل ارزیابی کرد، تنظیم کرده است.
برای توسعهدهندگان، OpenAI راهنمای پیشگیری، شناسایی و گزارش CSAM را منتشر میکند و میگوید آزمونهای اولیه به چند توسعهدهنده کمک کرد ابزار ایمنی کودکان را به کار ببرند و برای گزارشدهی به NCMEC ثبتنام کنند. برای بازپرسان، افزونه، ابزار پژوهشی و تحلیل دادههای پیچیده عرضه میکند که دسترسیشان را مدیران برنامه تعیین میکنند، بهعلاوه آموزش و یک راهنمای میدانی برای استفاده از هوش مصنوعی در پروندهها.
این اعلام در شرایط فشار میآید. The Verge گزارش میدهد سامانه CyberTipline در NCMEC در سال ۲۰۲۵ چهارصد هزار گزارش مرتبط با هوش مصنوعی مولد دریافت کرد، در برابر ۶۷ هزار گزارش در ۲۰۲۴، و Jeff Jackson، دادستان کل کارولینای شمالی و همرئیس گروه کاری هوش مصنوعی AG Alliance، در مراسم OpenAI سیل این گزارشها را «انفجاری» خواند. او همکاری با یک شرکت فناوری برای پیشگیری را در اصل یک آزمایش توصیف کرد. The Verge همچنین مینویسد هشت ایالت ماه گذشته بهخاطر آسیبهای ادعایی به کودکان از OpenAI شکایت کردند و TechCrunch به دعواهای پیشین و ارزیابی ریسک Common Sense Media برای نوجوانان اشاره میکند.
ارقام عملکرد از آزمونهای اولیه OpenAI با شرکا میآید و بهطور مستقل بازتولید نشده است. صفحه اعلام خود شرکت برای این بسته قابلبازشدن نبود، بنابراین جزئیات این گزارش بر دو گزارش رسانهای درباره عرضه و فهرست خوراک OpenAI تکیه دارد.