A OpenAI anunciou a 16 de novembro de 2026 que assinou acordos com quatro avaliadores independentes, a Apollo Research, a METR, a Transluce e a Goodfire, para aquilo a que chama a primeira fase de avaliacoes integradas. Segundo a empresa, o objetivo e dar a peritos independentes um acesso profundo e prolongado a modelos e sistemas internos, para avaliarem o alinhamento dos modelos e a eficacia das salvaguardas, sobretudo quando essas questoes sao relevantes para os seus dossiers de seguranca.

De acordo com o texto, os avaliadores receberao, consoante as necessidades de cada exercicio, acesso a alguns dos mesmos recursos internos usados pelos investigadores da OpenAI. A lista inclui checkpoints de modelos, codigo-fonte, dados de treino e de avaliacao, sistemas de monitorizacao, documentacao tecnica e conversas com os investigadores e engenheiros responsaveis. A OpenAI afirmou que as avaliacoes iniciais se centram no alinhamento e nas salvaguardas durante o treino e o uso interno, e que este trabalho enquadra compromissos assumidos no White House Accord on Super Intelligence para permitir avaliacoes independentes dos seus controlos de seguranca.

A empresa descreveu um mandato distinto para cada organizacao. A Apollo Research devera avaliar se os modelos poderiam agir de forma encoberta contra as intencoes dos seus criadores e se as salvaguardas da OpenAI detetariam esse comportamento, testando quatro afirmacoes: que o treino nao incentivou a subversao, que avaliacoes exigentes e o red teaming nao a provocam, que os modelos nao a tentaram durante o uso interno, e que o raciocinio por detras de uma subversao seria detetavel. Na primeira etapa, a OpenAI disse que a Apollo tera acesso a modelos publicos e nao publicados e a checkpoints de treino selecionados, a dados e resultados de avaliacao relevantes, a registos de intervencoes de treino, a sistemas de monitorizacao e comportamentos sinalizados, e a investigadores que possam dar contexto, alem de ferramentas e capacidade de calculo para testes independentes.

A Goodfire, segundo a OpenAI, ira integrar investigadores de interpretabilidade e usar a sua plataforma para analisar o interior dos modelos, com foco na monitorizacao de corridas de treino, na depuracao e no alinhamento. O publico principal destas avaliacoes sao os investigadores internos da OpenAI; a Goodfire tambem publicara aprendizagens a medida que a colaboracao avancar. A METR esta prevista para duas avaliacoes. Na primeira, avaliaria comportamentos desalinhados naquela que a OpenAI descreveu como a sua maior corrida de aprendizagem por reforco ate hoje, incluindo falhas que os testes e monitores atuais possam ter falhado, com acesso a amostragem de checkpoints relevantes, a percursos de treino e de avaliacao, e a registos de monitorizacao de desalinhamento dessa corrida. A OpenAI disse que este ambito da primeira fase e menos abrangente do que a proposta publicada pela METR. Uma avaliacao mais ampla dos monitores e descrita como acordada em principio e ainda pendente de um entendimento mutuo sobre o ambito, depois de um exercicio recente de tres semanas de red teaming dos monitores com a METR.

A Transluce devera fazer uma avaliacao inicial das avaliacoes de alinhamento pos-treino da OpenAI, olhando para a qualidade e a cobertura, com acesso a modelos publicos e nao publicados selecionados, as avaliacoes e resultados relevantes, dados de comportamento de suporte e documentacao dos dossiers de seguranca, e investigadores que possam dar contexto. A OpenAI e a Transluce partilham tambem a intencao, segundo o texto, de realizar uma avaliacao seguinte de cerca de oito semanas no inicio de 2027, com um acesso mais amplo, incluindo informacao sobre o modo como os resultados das avaliacoes informam as decisoes de lancamento.

A OpenAI disse ter definido protocolos com contributos dos avaliadores. Quem precisar de informacao confidencial sensivel trabalhara nas instalacoes da empresa e recebera dispositivos da OpenAI. O Safety and Security Committee do conselho da OpenAI Foundation, descrito como um orgao de supervisao independente, tera visibilidade sobre as avaliacoes, recebera relatorios sem redactacao e podera falar em privado com os avaliadores; divergencias nao resolvidas podem ser remetidas a esse comite. Os avaliadores mantem independencia na publicacao, afirmou a empresa, mas esta reserva o direito de omitir informacao confidencial e pode pedir atrasos de divulgacao responsavel. As conversas com colaboradores sao extra-oficiais, com um canal separado de atestacao para declaracoes que a OpenAI esteja disposta a confirmar. Numa nota de rodape, a OpenAI disse que a Apollo Research e a Goodfire aceitam compensacao financeira nao condicionada aos resultados, enquanto a METR e a Transluce nao aceitam compensacao financeira, mas podem aceitar creditos de API ou capacidade de calculo para usar nas avaliacoes.

O anuncio e a descricao, pela propria OpenAI, de acordos e de acessos previstos. Os resultados dos avaliadores ainda nao foram publicados neste aviso da primeira fase.

Referências