A Anthropic transformou uma parte do debate sobre abrandar a IA de fronteira num compromisso operacional. Dario Amodei diz que a empresa vai integrar avaliadores externos de segurança de forma contínua, dando-lhes acesso próximo do que têm as equipas internas que analisam riscos.
No ensaio «We Must Pace the Frontier», o responsável da Anthropic apresenta um plano em três etapas. A primeira é a mais concreta porque a empresa afirma que a vai executar sem esperar por um acordo do setor. Os avaliadores externos deverão ter equipamento da empresa, acesso a espaços de trabalho, ferramentas e permissões semelhantes às das equipas internas relevantes, bem como contacto direto com trabalhadores. O contrato deverá ainda permitir-lhes publicar conclusões importantes sobre riscos, incidentes, práticas de segurança e limitações de acesso que tenham encontrado.
A Reuters noticia que Sam Altman apoiou a proposta e disse que a OpenAI também pretende dar a avaliadores independentes um nível de acesso semelhante ao de trabalhadores da empresa. Esse apoio torna a ideia mais relevante para o setor, mas não equivale à existência de uma norma comum. A Anthropic fala em convidar uma equipa externa «num futuro próximo», sem apresentar no texto uma composição final, uma data de arranque, um protocolo de auditoria partilhado ou um mecanismo que obrigue diferentes empresas a oferecer o mesmo nível de acesso.
A questão de governação é, por isso, mais concreta do que o debate genérico sobre «abrandar a IA». Se for executado como descrito, o modelo proposto transforma a avaliação independente: deixa de ser apenas um teste pontual ao modelo e passa a acompanhar processos de treino, avaliação, resposta a incidentes e decisões de disponibilização.
O avaliador passa a observar o processo, não apenas o modelo final
Grande parte das avaliações externas atuais tem uma fronteira bem definida: acesso a um modelo, a uma API, a um ambiente de teste ou a um período limitado. A proposta da Anthropic entra mais fundo no processo.
Amodei defende que terceiros devem conseguir verificar se a empresa cumpre na prática os seus próprios compromissos sobre treino, disponibilização, operação e medidas de proteção. O texto prevê acesso a ferramentas, espaços de trabalho e permissões próximas das equipas internas de avaliação de risco, com exceções para obrigações legais e contratuais, proteção de clientes e informação sensível. Os avaliadores deverão também reportar incidentes e analisar não apenas modelos concluídos, mas os processos e as cadeias de treino.
Muitas falhas importantes não aparecem num resultado de benchmark. Um modelo pode passar um teste antes de ser lançado e, mesmo assim, existirem fragilidades no isolamento, na monitorização, na higiene dos ambientes de treino, na filtragem de dados ou na resposta a incidentes. Amodei liga explicitamente a proposta a incidentes recentes de alinhamento e comportamento de agentes e argumenta que um terceiro precisa de visibilidade suficiente para analisar esses aspetos operacionais.
A Anthropic diz ainda que os avaliadores devem poder publicar conclusões relevantes sem controlo editorial da empresa. A empresa reservaria apenas a possibilidade limitada de retirar informação sensível para a segurança, protegida por sigilo jurídico, comercialmente confidencial ou pertencente a terceiros. Mesmo nesses casos, os avaliadores poderiam tornar público que a supressão afetou uma conclusão importante.
A mudança estrutural seria tornar a verificação contínua
A análise da Aipolix é que o elemento mais consequente desta proposta não é a palavra «abrandamento». É a tentativa de tornar permanente a avaliação independente.
Uma auditoria periódica mostra um momento específico. Um avaliador com presença continuada pode, em princípio, acompanhar a aplicação de políticas ao treino, às avaliações internas, à resposta a incidentes e às decisões de lançamento. A pergunta deixa de ser apenas se o modelo passou um teste e passa a incluir outra: a organização aplicou realmente os controlos que afirma usar?
Para equipas de engenharia, a diferença aproxima-se da que existe entre testar uma aplicação uma vez e observar continuamente o sistema que a produz e coloca em funcionamento. A segunda abordagem pode revelar desvios de controlo, exceções e falhas de processo que uma avaliação pontual não deteta.
Mas o acesso permanente cria novas exigências. Uma implementação séria precisa de regras sobre independência dos avaliadores, conflitos de interesses, credenciais, separação de dados, confidencialidade dos clientes, informação protegida, escalada de incidentes, conservação de provas e resolução de divergências entre avaliador e empresa.
O ensaio da Anthropic define parte desses limites, sobretudo o direito de publicação e as condições restritas para retirar informação. Ainda não é, porém, uma especificação operacional completa. «Acesso semelhante ao dos trabalhadores» indica uma direção, mas não constitui um protocolo de auditoria reproduzível.
O apoio da OpenAI torna a coordenação mais plausível, não automática
Segundo a Reuters, Altman concordou com o princípio e disse que a OpenAI também pretende dar acesso semelhante a avaliadores independentes. Isso é importante porque a segunda etapa do plano de Amodei pressupõe que várias empresas cheguem a padrões comuns de segurança e coordenem limites ao crescimento não controlado de capacidades.
A Anthropic pode testar sozinha a mecânica de uma avaliação integrada, mas não consegue, por si só, criar condições iguais para todo o setor. Existem também limites jurídicos e concorrenciais. Amodei reconhece que algumas formas de coordenação podem levantar questões de concorrência e defende intervenção pública ou uma autorização limitada para determinadas conversas de segurança. A sua preferência a prazo é uma regulação aplicável a todos os laboratórios de fronteira, em vez de depender apenas de compromissos voluntários.
Assim, o desenvolvimento atual não é um acordo industrial. É uma experiência voluntária de governação que, pelo menos em princípio, recebeu apoio de um grande concorrente.
O que falta para isto ser uma norma auditável
A proposta será mais valiosa quando a implementação puder ser avaliada com o mesmo rigor que pretende aplicar às práticas internas.
O texto não identifica ainda a equipa externa definitiva. A Anthropic diz que pretende convidá-la em breve, mas não fixa uma data. Também não existe um esquema público comum que determine que incidentes têm de ser comunicados, que registos internos devem estar sempre acessíveis, com que frequência devem ser publicados resultados ou como se resolvem divergências sobre acesso e ocultação de informação.
Também não há, neste momento, um mecanismo comum de execução entre empresas. Duas organizações podem afirmar que têm «avaliadores independentes integrados» e, na prática, conceder níveis de acesso muito diferentes.
Uma norma operacional precisaria, por isso, de definir direitos mínimos de acesso, critérios de independência, regras de conservação de provas, obrigações de publicação e um mecanismo que torne visíveis as restrições impostas ao avaliador. Só então este tipo de acompanhamento poderá tornar-se um componente reutilizável de governação, em vez de um programa específico de uma empresa.
Porque o padrão interessa fora dos laboratórios de fronteira
A maioria das organizações nunca vai treinar um modelo de fronteira, mas o princípio de controlo também se aplica a agentes com impacto elevado.
As empresas que colocam agentes em processos reais fazem afirmações sobre os seus controlos: que ferramentas podem ser usadas, quem aprova uma ação, que dados ficam acessíveis, se os incidentes são registados e se existe capacidade de reversão. Políticas internas e painéis de controlo são necessários, mas continuam a ser produzidos pela organização que opera o sistema.
Em utilizações de maior risco, um avaliador independente precisa de estar suficientemente próximo da execução para verificar se o controlo descrito corresponde ao controlo real. Isso pode implicar acesso a registos de auditoria, configuração de políticas, campanhas de avaliação, registos de incidentes e partes selecionadas dos sistemas operacionais, em vez de apenas receber um relatório final de conformidade.
Por isso, mesmo que o programa mais amplo de Amodei para abrandar a evolução da IA nunca se transforme em política pública, esta componente merece atenção. A verificação externa contínua pode revelar a diferença entre um compromisso de segurança e o processo que supostamente o aplica.
Por agora, a Anthropic assumiu um compromisso concreto para testar esta abordagem. A próxima evidência será operacional: quem são os avaliadores, a que informação conseguem realmente aceder, o que podem publicar e se outros laboratórios de fronteira implementam mecanismos comparáveis.