Quatro dos maiores criadores de inteligência artificial estão a convergir para uma forma única de os sites recusarem o uso dos seus conteúdos no treino de modelos. A 30 de outubro, a OpenAI comunicou que vai respeitar um sinal comum no robots.txt relativo ao treino de modelos generativos de base, e a Google publicou no mesmo dia um plano equivalente. Segundo o Search Engine Land, a Microsoft e a Anthropic integram a mesma iniciativa, que tem origem no grupo de trabalho AI Preferences (AIPREF) do Internet Engineering Task Force.
Até agora, um editor que quisesse afastar as suas páginas dos conjuntos de treino tinha de conhecer cada robô pelo nome e escrever regras separadas para cada um, como o GPTBot, o ClaudeBot ou o token Google-Extended da Google. A nova abordagem troca essa lista por uma só entrada. Em vez de identificar um robô, o site identifica uma finalidade: um Internet-Draft publicado a 30 de outubro define o token de política __usage_ai-training, que se coloca na linha User-Agent de um grupo normal do robots.txt. Regras Disallow sob esse token exprimem oposição ao treino nesses caminhos e regras Allow exprimem consentimento, pelo que um site pode recusar o treino em todo o lado exceto, por exemplo, numa pasta de imprensa.
O rascunho distingue bem esta preferência do rastreio. O token não diz se um robô pode ou não descarregar uma página; as regras de rastreio existentes continuam a funcionar como antes, um grupo genérico User-Agent: * não pode ser interpretado como abrangendo o token e acordos de licenciamento privados podem prevalecer sobre o ficheiro. Não acrescenta diretivas nem sintaxe à norma do robots.txt, a RFC 9309, e por isso os analisadores antigos limitam-se a ignorar os novos grupos. O documento tem como autor Kevin Kelley, da Anthropic, e é uma submissão individual que, como indica o datatracker do IETF, não tem estatuto formal no processo de normalização.
Cada empresa explicou o seu calendário. A OpenAI pretende aplicar o sinal nos próximos meses e garante que os atuais controlos dos seus robôs se mantêm. A Google indicou que, se um site recusar o treino através do token partilhado sem mencionar o Google-Extended, o tratará como tendo bloqueado o Google-Extended, ao passo que quem autorizar explicitamente o Google-Extended continua elegível para fundamentar respostas e receber cliques nas Gemini Apps. A empresa conta suportar o mecanismo em 2027, juntamente com outros fornecedores, e defende que está alinhado com o Código de Conduta para modelos de IA de uso geral do EU AI Act, que reconhece o robots.txt como via principal de recusa legível por máquinas.
A Microsoft foi mais longe nos seus próprios serviços. De acordo com o resumo do Search Engine Land sobre o anúncio do Bing, haverá preferências distintas de AI Training e AI Grounding, a escolha sobre o treino poderá ser feita página a página com uma meta tag ou um cabeçalho HTTP, e surge uma opção Limited Grounding que permite o uso em produtos da própria Microsoft, como o Copilot e o Microsoft 365, mas não em serviços de fundamentação vendidos a terceiros. O Bing começará a respeitar estas preferências a 1 de fevereiro de 2027 e, depois de 1 de março de 2027, deixará de ler as diretivas NoArchive e NoCache como indicações sobre treino ou fundamentação.
Para os editores, o ganho prático é menos manutenção e uma escolha que chega de uma vez a todos os fornecedores aderentes, incluindo robôs que talvez nem conheçam, desde que esses fornecedores adotem o token. A Google atribui a proposta à pressão de editores, sociedade civil e reguladores por um controlo comum a todo o setor, e a OpenAI apelou a outras empresas de IA para que o respeitem.
As limitações pesam. O cumprimento é voluntário, nenhum participante aplica o token hoje e o restante vocabulário do AIPREF ainda está em discussão, pelo que o nome e o significado do token podem mudar antes de haver uma norma do IETF. O sinal também se restringe ao treino: a utilização de conteúdos para fundamentar respostas de IA em tempo real é tratada à parte e, até agora, só a Microsoft anunciou um controlo específico para isso.