OpenAI restreint ce que ChatGPT accepte de dire sur la violence et les armes, et s'engage à publier régulièrement des données sur l'efficacité de ces protections. Dans un billet daté du 30 octobre, l'entreprise a dévoilé un ensemble de changements de règles valables pour tous, des contraintes renforcées pour les adolescents et un nouveau rapport de transparence, le déploiement devant commencer dans les prochaines semaines.
Le changement le plus large porte sur les tueries de masse passées. ChatGPT devra fournir moins de détails sur ces événements et sur leurs auteurs, même lorsque ces informations sont accessibles ailleurs en ligne. On pourra toujours lui demander comment une attaque a touché les victimes et les communautés, ou comment repérer les signaux d'alerte, mais le modèle est censé refuser les reconstitutions, les explications sur la façon dont armes et équipements ont été obtenus et les comparaisons de bilans susceptibles de nourrir la notoriété d'un tueur. Selon OpenAI, ces limites s'appliquent quels que soient l'âge de l'utilisateur et la raison avancée.
L'entreprise veut aussi que ChatGPT réagisse à des tendances sur plusieurs conversations, et plus seulement à des requêtes isolées. Dans le prolongement d'une fonction présentée en mai, qui permet à l'assistant de conserver de brèves notes factuelles sur des signaux d'alerte antérieurs, ChatGPT répondra avec plus de prudence lorsque des échanges récents laissent craindre un passage à l'acte. Si une conversation montre qu'une personne s'obsède à l'idée de blesser gravement quelqu'un, le système pourra y mettre fin de lui-même, et un compte à l'origine de plusieurs interruptions de ce type pourra être suspendu temporairement. Les comptes qui enfreignent les règles sur la violence restent passibles d'un bannissement.
Les adolescents bénéficient d'un niveau supplémentaire. OpenAI indique que l'expérience réservée aux moins de 18 ans limitera désormais les informations pratiques sur les armes et les systèmes de sécurité susceptibles d'être détournées, même lorsque la question paraît anodine et ne trahit aucune intention violente, tout en laissant les jeunes demander de l'aide, apaiser un conflit ou joindre un adulte de confiance. Ces règles plus strictes s'appliqueront aussi lorsque le système de prédiction de l'âge de l'entreprise estime que l'utilisateur est mineur. Lancé l'an dernier, ce système réévalue désormais les signaux en continu, et les adultes mal classés peuvent confirmer leur âge via le prestataire de vérification Persona. Les parents dont le compte est lié, alertés depuis juillet lorsque le compte de leur enfant est désactivé pour des infractions liées à la violence, devraient aussi être prévenus en cas de suspension pour des discussions répétées sur ce thème.
Le billet livre en outre un chiffre rarement communiqué : OpenAI affirme avoir transmis aux forces de l'ordre plus de 200 cas de menaces imminentes de violence au troisième trimestre 2026, des spécialistes de la santé mentale et du comportement l'aidant à trancher les cas délicats. Pour rendre ce travail plus lisible, l'entreprise promet un Community Safety Report consacré à la prévention de la violence et à l'efficacité de ses garde-fous, avec des exemples anonymisés et des données à l'appui. La première édition, portant sur le second semestre 2026, est annoncée pour début 2027, puis des mises à jour tous les six mois.
Cette annonce intervient alors que les entreprises d'IA sont de plus en plus scrutées sur la manière dont leurs assistants répondent aux personnes vulnérables ou à celles qui expriment des intentions violentes, et elle rapproche OpenAI des rapports périodiques que publient déjà les réseaux sociaux. Sur le fond, il s'agit pourtant surtout d'engagements. OpenAI ne fournit aucun chiffre sur les erreurs de ses classificateurs, sur le nombre de comptes suspendus ou bannis, ni sur la part des signalements ayant débouché sur une action, et reconnaît que détecter les signaux d'alerte de façon fiable reste un problème ouvert.