Quatre des plus grands développeurs d'intelligence artificielle se rangent derrière un moyen unique, pour les sites web, de refuser que leurs contenus servent à entraîner des modèles. Le 30 octobre, OpenAI a annoncé qu'il respectera un signal commun dans robots.txt portant sur l'entraînement des modèles génératifs de fondation, et Google a publié le même jour un projet équivalent. D'après Search Engine Land, Microsoft et Anthropic participent à la même démarche, née du groupe de travail AI Preferences (AIPREF) de l'Internet Engineering Task Force.
Jusqu'ici, un éditeur souhaitant écarter ses pages des corpus d'entraînement devait connaître chaque robot par son nom et rédiger une règle distincte pour chacun, qu'il s'agisse de GPTBot, de ClaudeBot ou du jeton Google-Extended de Google. La nouvelle méthode remplace cette liste par une seule entrée. Au lieu de désigner un robot, le site désigne un usage : un Internet-Draft publié le 30 octobre définit le jeton de politique __usage_ai-training, placé dans la ligne User-Agent d'un groupe robots.txt ordinaire. Des règles Disallow sous ce jeton signalent un refus de l'entraînement sur les chemins concernés, des règles Allow un accord, si bien qu'un site peut tout refuser sauf, par exemple, son dossier de presse.
Le texte prend soin de distinguer cette préférence de l'exploration. Le jeton ne dit rien sur le droit d'un robot à récupérer une page ; les règles d'exploration existantes s'appliquent comme avant, un groupe générique User-Agent: * ne doit pas être lu comme visant le jeton, et des accords de licence privés peuvent primer sur le fichier. Aucune directive ni syntaxe nouvelle n'est ajoutée à la norme robots.txt, la RFC 9309, de sorte que les anciens analyseurs ignorent tout simplement ces groupes. Le document a pour auteur Kevin Kelley, d'Anthropic, et constitue une soumission individuelle qui, comme le précise le datatracker de l'IETF, n'a aucun statut officiel dans le processus de normalisation.
Chaque entreprise a détaillé son propre calendrier. OpenAI vise une mise en œuvre dans les prochains mois et assure que ses contrôles actuels pour ses robots resteront valables. Google indique que si un site refuse l'entraînement via le jeton commun sans mentionner Google-Extended, il le considérera comme ayant bloqué Google-Extended, tandis qu'un site autorisant explicitement Google-Extended restera éligible à l'ancrage des réponses et aux clics dans les Gemini Apps. Le groupe prévoit de prendre en charge ce mécanisme en 2027 avec d'autres fournisseurs et le juge compatible avec le code de bonnes pratiques pour les modèles d'IA à usage général de l'EU AI Act, qui fait de robots.txt un canal privilégié de refus lisible par machine.
Microsoft va plus loin pour ses propres services. Selon le compte rendu de Search Engine Land sur l'annonce de Bing, l'éditeur proposera des préférences distinctes AI Training et AI Grounding, permettra de régler l'entraînement page par page avec une balise meta ou un en-tête HTTP, et ajoutera une option Limited Grounding autorisant l'usage dans ses propres produits comme Copilot et Microsoft 365, mais pas dans les services d'ancrage vendus à des tiers. Bing commencera à appliquer ces préférences le 1er février 2027 et cessera, après le 1er mars 2027, d'interpréter les directives NoArchive et NoCache comme des choix sur l'entraînement ou l'ancrage.
Pour les éditeurs, l'intérêt concret tient à une maintenance allégée et à un choix transmis d'un coup à tous les fournisseurs participants, y compris à des robots qu'ils ne connaissent pas, à condition que ces acteurs adoptent le jeton. Google présente la proposition comme une réponse aux demandes des éditeurs, de la société civile et des régulateurs en faveur d'un contrôle commun à tout le secteur, et OpenAI invite les autres entreprises d'IA à s'y conformer.
Les limites restent importantes. Le respect du signal est volontaire, aucun participant ne l'applique aujourd'hui et le reste du vocabulaire AIPREF est encore en discussion : le nom comme la portée du jeton peuvent évoluer avant toute norme de l'IETF. Le signal ne vise par ailleurs que l'entraînement. L'utilisation de contenus pour ancrer des réponses d'IA en temps réel relève d'un réglage distinct, que seul Microsoft a annoncé à ce stade.