Um novo preprint no arXiv conclui que alguns grandes modelos de linguagem conseguem reconhecer corretamente que uma pergunta é fundamentalmente impossível de responder e, ainda assim, tomar uma ação confiante quando a mesma pergunta aparece dentro de um painel de evidência com aspeto profissional. Em 12 modelos frontier, o autor reporta um aumento do compromisso de 6,5% com a pergunta isolada para 54,0% à medida que são adicionados elementos com aparência cada vez mais autoritativa.
O resultado é relevante para agentes que atuam sobre dashboards, documentos recuperados, feeds de mercado ou relatórios ao estilo de analistas. O artigo argumenta que a falha não é simplesmente conhecimento factual deficiente ou má calibração probabilística. Existe uma action gate separada: o modelo pode saber que a evidência não permite resolver o resultado e, ainda assim, agir como se a apresentação justificasse uma decisão.
Evidência fabricada pode desencadear quase a mesma ação que dados reais
O estudo constrói perguntas cujo resultado é comprovadamente imprevisível a partir da informação disponível ao modelo e depois varia o contexto apresentado. Numa das manipulações, o autor compara dados reais de mercado com um painel em que todos os números foram inventados.
Segundo o preprint, o painel completamente fabricado aumenta o compromisso de 24,5% sem painel para 36,8%. Dados reais de mercado produzem 37,6%, uma diferença que o estudo reporta como estatisticamente indistinguível. A interpretação deve ser estreita: no setup testado, a autoridade visual e a estrutura da apresentação podem bastar para levar alguns modelos a agir mesmo quando a evidência não contém informação sobre o resultado incognoscível.
O efeito não é universal. O artigo reporta três modelos fortemente suscetíveis, vários que praticamente nunca se comprometem e outros que o fazem quase independentemente do contexto. Esta heterogeneidade impede uma conclusão simples de que todos os agentes LLM partilham a mesma falha.
Os modelos muitas vezes sabem que a pergunta não pode ser respondida
Um conjunto equivalente de perguntas answerable ajuda a separar capability de action. O autor reporta que os mesmos modelos respondem com precisão quase perfeita quando a informação disponível realmente determina a resposta.
O estudo também pede aos modelos para classificar se a pergunta é conhecível antes de agir. Eles identificam irreducible uncertainty em cerca de 90% dos casos e depois comprometem-se em apenas 0,4% daqueles que acabaram de classificar como unknowable. Isto sugere que um workflow com um passo explícito para julgamento epistémico pode melhorar substancialmente o comportamento.
As probabilidades declaradas pelos próprios modelos também não explicam a mudança. O artigo diz que variam pouco enquanto o compromisso muda fortemente com a aparência de autoridade do painel. Por isso, o problema é enquadrado como um desalinhamento entre saber e agir, não como um erro convencional de calibration.
Um pequeno treino corrige a gate, mas o efeito é frágil
O artigo testa se a action gate pode ser treinada separadamente. Supervised fine-tuning de um modelo 3B em 540 exemplos sintéticos, sobretudo tarefas simples com dados, moedas, frascos e temporizadores, reduz o compromisso a zero na avaliação original e transfere para três domínios não vistos nas execuções reportadas.
Mas o resultado não sobrevive a todas as restrições de deployment. O preprint mostra que formatos de output rígidos podem remover o espaço de reasoning usado pelo modelo para recusar corretamente. Numa ablation, o modelo afinado compromete-se nos 48 casos unknowable quando é forçado para um formato restritivo.
Para quem constrói agentes, é um aviso prático. Um safety behavior aprendido em free-form reasoning pode desaparecer quando uma API de produção exige um schema curto, JSON fixo ou uma decisão binária. A interface em torno do modelo passa a fazer parte do mecanismo de segurança.
Uma release invulgarmente reprodutível para um preprint recente
O trabalho é preliminar e não foi verificado qualquer estado de peer review. É também da autoria de um único investigador independente, pelo que necessita de replicação externa em mais tarefas e agent frameworks.
Ao mesmo tempo, o release signal é mais forte do que em muitos trabalhos iniciais. O repositório GitHub oficial inclui código, dados, material de preregistration e outputs dos modelos em cache. O registo do arXiv indica que os resultados numéricos podem ser recalculados a partir dos artefactos publicados, reduzindo a dependência de chamadas API ou de GPU para verificação básica.
O artigo é igualmente explícito sobre limitações. Apenas as tarefas de equity e crypto têm resultados selados ou resolvidos que validam mais diretamente a imprevisibilidade. Sports e weather não têm a mesma estrutura e o autor nota que o painel meteorológico contém sinal real de previsão, tornando esse domínio um instrumento mais fraco para a afirmação central.
Porque isto importa para agentes em produção
Muitos agentes de produção consomem informação desenhada para parecer autoritativa: dashboards, resultados de retrieval, registos de bases de dados, resumos gerados e outputs de ferramentas. O estudo sugere que as equipas devem testar não só se um agente consegue declarar incerteza, mas se essa incerteza efetivamente bloqueia a ação.
Um controlo prático é tornar explícita a decisão sobre suficiência da evidência. O agente pode primeiro classificar se a informação disponível basta para a ação, registar esse julgamento e só depois executar um tool call ou recomendação. O resultado knowability-first sugere que esta separação pode reduzir compromisso injustificado, embora não seja uma garantia universal.
As evals devem ainda incluir evidência fabricada mas plausível, e não apenas dados em falta. Um sistema pode comportar-se de forma segura quando não existe informação e tornar-se overconfident quando informação irrelevante é formatada como uma fonte de alta qualidade. Isto é especialmente relevante para agentes RAG, assistentes financeiros e sistemas operacionais que combinam reasoning com feeds estruturados.
A contribuição mais ampla do preprint é uma definição mais exigente de agent calibration. Não basta um modelo atribuir probabilidades razoáveis ou reconhecer verbalmente a incerteza. Um agente de produção precisa também de uma política fiável sobre quando a incerteza deve impedir a ação, e essa política tem de sobreviver às restrições reais de ferramentas e output do deployment.