Un nouveau preprint arXiv montre que certains grands modèles de langage peuvent reconnaître correctement qu'une question est fondamentalement impossible à résoudre, puis prendre malgré tout une décision confiante lorsque la même question est accompagnée d'un panneau de données à l'apparence professionnelle. Sur 12 modèles frontier, l'auteur rapporte un taux d'engagement qui passe de 6,5% pour la question seule à 54,0% lorsque des éléments de plus en plus autoritaires sont ajoutés.
Le résultat est pertinent pour les agents qui agissent à partir de dashboards, documents récupérés, flux de marché ou rapports de type analyste. Le papier soutient que l'échec n'est pas simplement une mauvaise connaissance factuelle ou une calibration probabiliste insuffisante. Il concerne une porte de décision séparée: le modèle peut savoir que les preuves ne permettent pas de déterminer l'issue et agir pourtant comme si la présentation justifiait une décision.
Des preuves fabriquées peuvent déclencher presque la même action que de vraies données
L'étude construit des questions dont l'issue est, par définition, imprévisible à partir des informations accessibles au modèle, puis modifie le contexte autour de ces questions. Dans une manipulation, l'auteur compare des données de marché réelles avec un panneau où chaque nombre affiché est inventé.
Selon le preprint, le panneau entièrement fabriqué fait passer l'engagement de 24,5% sans panneau à 36,8%. Les vraies données de marché produisent 37,6%, différence que l'étude considère comme statistiquement indiscernable. L'interprétation doit rester étroite: dans le dispositif testé, l'autorité visuelle et la structure de la présentation peuvent suffire à pousser certains modèles à agir même lorsque les éléments présentés n'apportent aucune information sur l'issue inconnue.
L'effet n'est pas universel. Le papier indique que trois modèles sont fortement sensibles, plusieurs refusent généralement de s'engager et d'autres s'engagent presque indépendamment du contexte. Cette hétérogénéité empêche de présenter le phénomène comme un défaut identique de tous les agents LLM.
Les modèles savent souvent que la question est insoluble
Un ensemble de questions comparables mais réellement résolubles aide à séparer capacité et décision. L'auteur rapporte que les mêmes modèles répondent avec une précision presque parfaite lorsque les informations déterminent effectivement la réponse.
L'étude demande aussi aux modèles de classer la question comme connaissable ou non avant d'agir. Ils identifient l'incertitude irréductible environ 90% du temps, puis ne s'engagent que dans 0,4% des cas qu'ils viennent eux-mêmes de qualifier d'inconnaissables. Cela suggère qu'un workflow qui réserve un espace explicite au jugement épistémique peut améliorer le comportement.
Les probabilités déclarées par les modèles n'expliquent pas non plus le changement. Le papier indique qu'elles bougent peu alors que l'engagement varie fortement avec l'apparence d'autorité du panneau. L'auteur décrit donc un décalage entre savoir et agir plutôt qu'une simple erreur de calibration.
Un petit entraînement corrige la porte de décision, mais reste fragile
Le papier teste si cette porte peut être entraînée séparément. Un supervised fine-tuning d'un modèle 3B sur 540 exemples synthétiques, principalement des tâches simples de dés, pièces, bocaux et minuteurs, ramène l'engagement à zéro sur l'évaluation originale et se transfère à trois domaines non vus dans les essais rapportés.
Mais ce résultat ne résiste pas à toutes les contraintes de déploiement. Le preprint montre que des formats de sortie rigides peuvent supprimer l'espace de raisonnement qui permettait au modèle de refuser. Dans une ablation, le modèle ajusté s'engage sur les 48 cas inconnaissables lorsqu'il est forcé dans un format restrictif.
Pour les équipes qui construisent des agents, c'est un avertissement pratique. Un comportement de sécurité appris en raisonnement libre peut disparaître lorsque l'API de production exige un schéma court, un JSON fixe ou une décision binaire. L'interface autour du modèle fait partie du mécanisme de sécurité.
Une publication exceptionnellement reproductible pour un preprint récent
Le travail est préliminaire et aucun statut de peer review n'a été vérifié. Il est également signé par un seul chercheur indépendant, ce qui rend nécessaire une réplication externe sur davantage de tâches et de frameworks d'agents.
Le signal de publication est néanmoins solide. Le dépôt GitHub officiel contient code, données, matériel de preregistration et sorties de modèles en cache. La fiche arXiv indique que les résultats numériques peuvent être recalculés à partir des artefacts publiés, ce qui réduit la dépendance à des appels API ou à un GPU inaccessible pour les vérifications de base.
Le papier expose aussi ses limites. Seules les tâches equity et crypto disposent d'issues scellées ou résolues permettant de valider plus directement l'imprévisibilité. Les domaines sport et météo n'ont pas la même structure, et l'auteur précise que le panneau météo contient un vrai signal de prévision, ce qui en fait un instrument plus faible pour le cœur de l'hypothèse.
Pourquoi cela compte pour les agents en production
De nombreux agents consomment des informations conçues pour paraître autoritaires: dashboards, résultats de retrieval, enregistrements de bases de données, résumés générés et sorties d'outils. L'étude suggère de tester non seulement si un agent sait exprimer l'incertitude, mais aussi si cette incertitude bloque effectivement l'action.
Un contrôle pratique consiste à rendre la décision d'agir explicite. L'agent peut d'abord classifier si les preuves disponibles sont suffisantes, enregistrer ce jugement, puis seulement autoriser un tool call ou une recommandation. Le résultat knowability-first du papier suggère que cette séparation peut réduire les engagements injustifiés, sans constituer une garantie universelle.
Les evals devraient aussi inclure des preuves fabriquées mais plausibles, et pas seulement des données absentes. Un système peut être prudent face au vide puis devenir trop confiant lorsqu'une information non pertinente est formatée comme une source de haute qualité. Cela concerne particulièrement les agents RAG, les assistants financiers et les systèmes opérationnels combinant raisonnement et flux structurés.
La contribution générale du preprint est une définition plus exigeante de la calibration d'un agent. Il ne suffit pas qu'un modèle fournisse une probabilité raisonnable ou reconnaisse verbalement l'incertitude. Un agent de production a également besoin d'une politique fiable indiquant quand l'incertitude doit empêcher l'action, et cette politique doit survivre aux outils et formats réels du déploiement.