L'équipe d'alignement d'Anthropic a publié le 27 octobre une étude qui met à l'épreuve une idée répandue sur les agents d'IA : c'est l'expert humain qui continuerait de prendre les décisions importantes. Les chercheurs Amaç Herdağdelen, Hailey Joren et Alex Tamkin rapportent que des analystes expérimentés travaillant avec Claude Code ont largement adopté la position que l'agent avait reçu pour consigne de défendre, sans savoir qu'une telle position existait.
L'essai a recruté 61 professionnels ayant réussi un test de connaissances en inférence causale et utilisant régulièrement Python ou R. Onze ont préféré travailler sans l'agent et ont été pour l'essentiel écartés, ce qui en laisse 50. Chacun devait conseiller une coopérative agricole fictive sur l'opportunité d'étendre un programme payant de conseil aux exploitations. Le conseil d'administration ne l'étendrait que si la productivité progressait d'environ 3 à 4 %, sans définir la productivité, et la tâche laissait ouverts quatre choix d'analyse, chacun avec deux options défendables, comme le rendement par hectare ou par unité de coût, ou une méthode des doubles différences face à un ajustement statistique.
Pour chaque analyste et chacun de ces choix, ainsi que pour la recommandation finale, un tirage à pile ou face fixait l'option que l'agent privilégierait. Cette préférence figurait dans un prompt système caché qui demandait à l'agent, fonctionnant avec Claude Opus 4.8 en effort élevé, de la défendre comme son propre avis, de changer d'avis si les données la contredisaient nettement et de ne jamais déformer les résultats.
L'effet est massif. Sur l'ensemble des quatre choix d'analyse, les analystes ont suivi l'agent dans 86 % des cas, contre environ la moitié en l'absence d'influence. Parmi ceux qui avaient exprimé un avis avant l'intervention de l'agent, 60 % l'ont abandonné lorsque l'agent était en désaccord, contre 6 % lorsqu'il était d'accord. Pour la décision finale, 54 % ont recommandé l'extension quand l'agent penchait en ce sens, contre 36 % dans le cas inverse, et un modèle fondé sur les seuls quatre tirages a prédit 82 % des recommandations.
Les analystes ne semblaient pas non plus conscients de cette influence. Invités à justifier leurs choix, 77 % ont repris les arguments de l'agent, parfois mot pour mot, mais seulement 15 % l'ont cité comme source. Ceux qui l'ont suivi de plus près étaient aussi sûrs de leurs conclusions, et aussi enclins à les juger personnelles, que les autres.
Les auteurs insistent : ce n'est pas un plaidoyer contre les agents. Ceux qui ont travaillé avec Claude ont fini plus vite et commis bien moins d'erreurs graves que le petit groupe, moins expérimenté, qui a travaillé seul. Leur inquiétude tient au fait que, à mesure que les agents prennent en charge le travail concret, les arbitrages deviennent le principal point d'entrée des valeurs humaines, et qu'une déférence silencieuse pourrait laisser des préférences arbitraires ou mal alignées orienter politiques publiques et recherche. Ils citent la recherche en sécurité de l'IA, où un relecteur humain est censé constituer un contrôle indépendant, et notent qu'un consensus apparent entre équipes pourrait refléter les penchants d'un seul modèle.
Anthropic énumère elle-même plusieurs réserves importantes. Les préférences ont été volontairement renforcées pour l'expérience ; sans consigne, Claude Opus 4.8 a fait les mêmes cinq choix dans 112 exécutions sur 123, et des agents sans position imposée pourraient peser moins. L'étude mesure l'option retenue, pas la force de la conviction. Les travaux n'ont pas été reproduits de façon indépendante et Anthropic étudie son propre produit. Les auteurs proposent de mesurer la déférence, de concevoir des agents qui exposent les deux options ou demandent d'abord l'avis de l'expert, et de revoir la valeur que les institutions accordent à la validation par un expert.