Um estudo pré-registado publicado a 3 de setembro coloca uma questão operacional difícil às equipas que usam modelos de linguagem para avaliar outros sistemas: o próprio avaliador é estável o suficiente para decidir uma aprovação de produção?
O artigo Clean Engineering, Unstable Measurement não foi concebido para atacar a avaliação por LLM. Os investigadores pretendiam medir o progresso de uma solução a partir de excertos visíveis de raciocínio. O protocolo pré-registado exigia, porém, que o modelo observador passasse primeiro por testes de fiabilidade. As duas campanhas terminaram nessa etapa.
Em 52 988 tentativas de pedido auditadas, os autores reportam uma correlação de Spearman de 0,400 entre ordenações repetidas na mesma janela, muito abaixo do limiar pré-definido de 0,90. Noutro teste, 100 pedidos idênticos ao nível dos bytes foram repetidos no dia seguinte usando o mesmo nome de modelo; a concordância exata da ordenação foi 0,78, contra um requisito de 0,99.
As 52 988 tentativas não correspondem a 52 988 amostras independentes. O próprio artigo esclarece que as análises assentam em unidades menores, incluindo 31 grupos válidos de tarefas, 100 pares de repetição e 3 060 avaliações de erros construídos. O resultado é sobre fiabilidade de medição, não sobre uma vitória ou derrota numa grande avaliação comparativa.
Uma chamada tecnicamente correta não garante uma medição estável
O ponto mais útil do trabalho é a separação entre correção de engenharia e fiabilidade da medição. Entrega, validade do esquema, hashes dos pedidos e metadados registados podem estar corretos e, ainda assim, o avaliador falhar os critérios de estabilidade definidos antecipadamente.
Os autores identificam três mecanismos. Num dos métodos, a associação entre rótulos e significado influenciava a leitura. Noutro, as diferenças entre candidatos eram muito menores do que o ruído do próprio avaliador. Na ordenação completa, pedidos idênticos podiam devolver ordenações diferentes, e exigir uma permutação exatamente igual transformava pequenas alterações numa falha total.
A premissa técnica é compatível com evidência independente. A Thinking Machines Lab mostrou anteriormente que a inferência a temperatura zero pode divergir devido ao processamento em lotes e publicou operações concebidas para tornar o resultado independente do lote. A documentação do vLLM Ascend descreve hoje um modo de invariância ao lote para tornar a saída independente do tamanho e da ordem dos pedidos.
A Anthropic estabelece outra fronteira útil na sua documentação de versões: um identificador de modelo pode fixar os pesos, enquanto a infraestrutura de serviço à volta do modelo, incluindo encaminhamento e lógica de amostragem, pode mudar e provocar diferenças observáveis.
Estas fontes não reproduzem os números do novo artigo. Servem apenas de apoio ao mecanismo de engenharia: um nome de modelo fixo não equivale automaticamente a um instrumento de observação perfeitamente fixo.
Mais pedidos não resolveram o problema por si só
Os autores testaram alternativas. Em medições adicionais, quatro fornecedores apresentaram medianas de estabilidade entre 0,74 e 0,88 na bateria usada. Esperar mais tempo não melhorou de forma relevante os dias observados. Uma instalação própria com operações invariantes ao lote foi mais estável quando estava pouco carregada, mas a concorrência aumentou a discordância 8,4 vezes e aproximou-a novamente da ordem de grandeza observada nos serviços partilhados.
O artigo simulou também um desenho equivalente a 748 mil chamadas. Com a distribuição observada, o critério pré-registado passou zero vezes em 500 simulações. Isto não significa que aumentar a amostra nunca ajude. Significa que repetir mais vezes não corrige um critério que exige uma resolução inferior ao ruído do instrumento.
Os autores limitam cuidadosamente as conclusões. Não afirmam que todos os avaliadores LLM são inutilizáveis, nem que todos os fornecedores se comportam da mesma forma. Os resultados dizem respeito às configurações, protocolos e janelas de observação testados.
A documentação de reprodutibilidade é extensa, mas não perfeita. O pacote público inclui manifestos, dados derivados, relatórios, configurações seladas, textos de pré-registo e código para reconstruir as figuras. As respostas brutas dos fornecedores permanecem de acesso restrito. O artigo também declara um desvio temporal num pré-registo e uma lacuna de proveniência em execuções mais antigas; essas execuções foram limitadas a evidência exploratória.
Um avaliador deve ser qualificado antes de poder bloquear uma versão
A conclusão da Aipolix não é “deixar de usar avaliadores LLM”. É mais específica: um avaliador não deve decidir sozinho a publicação, a filtragem de dados de treino ou um controlo de regressão sem que a sua própria fiabilidade tenha sido medida no percurso de execução real.
Há quatro controlos práticos.
Primeiro, guardar a identidade de versão mais forte disponível, não apenas um nome amigável. Se a API fornecer um identificador datado, impressão digital ou metadados de serviço, esses dados devem acompanhar cada execução.
Segundo, medir a repetibilidade antes de fixar o limiar. Uma amostra representativa deve ser repetida na mesma janela e ao longo do intervalo temporal relevante para a operação. O que interessa é saber se o ruído natural é pequeno face à margem que decide uma aprovação.
Terceiro, calibrar o critério à resolução do instrumento. Se uma diferença de um ponto bloqueia uma versão, mas o avaliador varia vários pontos com entradas idênticas, o controlo está a medir tanto o sistema como o avaliador. O limiar, a agregação ou o próprio instrumento precisam de ser alterados.
Quarto, uma falha da medição deve produzir “medição inválida”, não aprovação ou rejeição implícita. Uma resposta malformada, falta de identidade de versão ou um teste de estabilidade falhado deve retirar autoridade ao avaliador.
A implicação para governação de IA
Muitos desenhos de governação usam um avaliador LLM como camada de controlo barata: avaliar a saída, comparar o resultado com uma política e autorizar ou bloquear o passo seguinte. Este estudo mostra por que razão esse controlo pode ser menos sólido do que parece, mesmo quando a automatização que o rodeia é impecável.
Um registo de auditoria pode provar que o processo executou exatamente o que estava definido. Se o instrumento oscila na mesma escala da fronteira de decisão, esse registo não prova, por si só, que a decisão seria reproduzível.
A distinção relevante para produção é esta: evidência de execução demonstra o que o sistema fez; evidência do instrumento demonstra se aquela medição merecia autoridade.
O contributo mais útil do artigo não é um novo resultado de avaliação comparativa. É uma regra de arquitetura para a infraestrutura de avaliação: antes de um LLM poder funcionar como critério de passagem, deve ser qualificado como instrumento de medição nas mesmas condições de serviço em que irá decidir.