Um novo estudo sobre reprodutibilidade em sistemas com modelos de linguagem mostra que a reutilização de prefixos em cache pode alterar o percurso de um agente mesmo quando o modelo, os parâmetros de geração, a semente e a ordem dos pedidos são mantidos constantes. Nos testes publicados, essa diferença torna-se muito mais frequente à medida que os pesos do modelo são quantizados com menor precisão.
O trabalho foi submetido ao arXiv a 4 de setembro e enviado para avaliação na IEEE Access, pelo que ainda não deve ser tratado como um resultado confirmado por revisão independente. A conclusão também é mais limitada do que uma simples perda de qualidade: o estudo não mostra uma quebra da precisão média, mas sim uma perda de reprodutibilidade associada a estado interno do servidor que não faz parte do pedido.
O percurso de execução pode mudar sem mudar o pedido
O estudo utiliza 80 episódios de uma tarefa multi-etapa com utilização de ferramentas, dois motores de inferência e quatro formatos para os pesos. Os pedidos são processados em série, com lote de dimensão um, descodificação gulosa, temperatura zero e semente 42. O próprio cache de chaves e valores permanece em 16 bits em todas as configurações, permitindo separar o efeito da quantização dos pesos.
Quando a reutilização do cache é desativada, as execuções repetidas são idênticas bit a bit em todas as configurações: nenhum dos 800 episódios diverge. Ao comparar o percurso com reutilização do prefixo com o recálculo integral, a trajetória do agente muda em 36,2% dos episódios com pesos de 16 bits e em 75,0% com pesos de quatro bits.
Um controlo adicional ajuda a perceber o mecanismo. Quando o estado do cache é restaurado para uma situação conhecida, tanto o percurso com cache como o percurso com recálculo se repetem exatamente em 40 casos de 40. Ainda assim, os dois percursos diferem entre si em 14 casos. Isto aponta para um sistema determinístico condicionado por um estado que não está representado no pedido, e não simplesmente para aleatoriedade descontrolada.
Repetir a chamada não significa repetir o ambiente
Num dos motores, a investigação encontrou ainda uma camada de cache de instrução ao nível do servidor. Com essa camada ativa, colocar uma passagem sem cache entre duas passagens com cache aumenta a divergência de 38,8% para 77,5%. Quando a camada é desativada, a mesma alteração na ordem deixa a divergência em cerca de 1,2%.
O repositório público também regista duas falhas de medição encontradas durante a revisão interna. Uma extração demasiado rígida das respostas matemáticas classificava respostas corretas como erradas; além disso, a primeira comparação entre motores misturava ordens de execução diferentes. Os resultados corrigidos foram recalculados a partir dos registos brutos já existentes, sem nova inferência, e as versões anteriores foram preservadas para auditoria.
Esta transparência aumenta a possibilidade de inspeção, mas não equivale a uma reprodução independente. Há, no entanto, contexto externo relevante. Em janeiro, um utilizador do vLLM reportou resultados diferentes entre o primeiro pedido, sem reaproveitamento do prefixo, e pedidos seguintes com acesso a dados já presentes em cache num sistema AMD MI355X. O hardware, o modelo e a versão do software são diferentes, por isso esse caso não confirma os números do estudo; mostra apenas que diferenças entre os dois percursos de cálculo também foram observadas noutro ambiente de serviço de inferência.
O resultado é sobre reprodutibilidade, não sobre pior precisão média
Na experiência de uma única interação, algumas respostas mudaram de corretas para erradas e outras no sentido inverso, sem uma deslocação relevante da precisão agregada. Dizer que “o cache reduz a precisão” seria, por isso, uma conclusão que os dados não suportam.
Para avaliar agentes, porém, uma média estável pode esconder diferenças importantes. Uma alteração de token pode mudar a ferramenta escolhida, o estado intermédio, uma chamada externa ou o ponto em que ocorre uma falha, sem alterar muito a pontuação final. Duas execuções com desempenho agregado semelhante podem ter percorrido sequências operacionais distintas.
As limitações são claras. Foram testados modelos abertos entre 7 e 14 mil milhões de parâmetros, uma única RTX 4090, um servidor sem vários clientes em simultâneo e tarefas em inglês. O estudo não estabelece a mesma magnitude para modelos de fronteira, APIs alojadas, ambientes com vários clientes isolados ou outros aceleradores. A tarefa de agentes também era difícil para os modelos utilizados, razão pela qual o artigo evita inferir efeitos sobre a taxa de sucesso das tarefas a partir desses episódios.
O estado do servidor deve fazer parte da proveniência do teste
A conclusão prática da Aipolix é que a descrição de uma experiência com modelo de linguagem não pode terminar no nome do modelo, instrução, temperatura e semente. Se a camada de serviço de inferência mantém estado entre pedidos, esse estado passa a fazer parte das condições do ensaio.
Em critérios de validação antes de uma versão entrar em produção, avaliações comparativas internas e reprodução de incidentes, as equipas devem registar pelo menos o motor de inferência e a respetiva versão, se o cache de prefixo ou de instrução está ativo e, quando o motor o permite, indicadores de utilização efetiva do cache. Se a comparação tiver de ser repetível, o estado deve ser reiniciado ou controlado entre execuções.
A quantização acrescenta uma segunda implicação. Normalmente é introduzida para reduzir memória e custo, enquanto os testes continuam a assumir que o mesmo pedido define ensaios comparáveis. Se uma precisão mais baixa tornar pequenas diferenças numéricas do percurso com cache mais capazes de atravessar uma fronteira de decisão entre tokens, uma versão quantizada deve ser validada com a configuração de serviço de inferência que será usada em produção, e não apenas num ambiente offline sem esse estado.
Isto é mais exigente do que adicionar outra métrica ao benchmark. Faz da proveniência do estado de inferência parte da evidência necessária para reproduzir uma falha de agente ou sustentar uma comparação entre modelos.
O conjunto de materiais de investigação permite verificar as contas
O repositório associado disponibiliza o sistema de medição, registos brutos de cada pedido, scripts de análise, versões fixadas dos motores, valores de verificação dos modelos e opções de arranque. Segundo a autora, todos os números e figuras do artigo são regenerados a partir desses registos.
A disponibilização destes materiais torna o resultado mais útil antes da conclusão da revisão, porque outras equipas podem inspecionar as condições exatas ou repetir a medição noutra infraestrutura. Continua, porém, em aberto a validade externa: não sabemos se a mesma dimensão do efeito aparece com outros modelos, aceleradores, processamento simultâneo em lotes ou serviço de inferência com vários clientes isolados.
Para já, a conclusão defensável é específica e acionável: quando a repetibilidade de um sistema baseado num modelo de linguagem é importante, o cache de prefixo não deve ser tratado automaticamente como uma otimização invisível, e a quantização pode tornar o seu efeito comportamental bastante maior.