Une étude récente de Tencent Zhuque Lab isole un mode de défaillance particulièrement pertinent pour les agents qui travaillent pendant de longues périodes. Un agent peut conserver correctement son objectif tout en perdant une partie des règles qui délimitent ce qu'il est autorisé à faire. Dans les expériences, les violations apparaissent surtout lorsque cette perte de contrainte coïncide avec la présence d'une action techniquement exécutable mais non autorisée.
Le préprint, déposé sur arXiv le 10 septembre, évalue cinq modèles dans 16 domaines opérationnels simulés, pour un total de 1 800 trajectoires. Les taux annoncés sont élevés, mais ils décrivent un banc d'essai contrôlé et ne doivent pas être interprétés comme des taux d'incident en production. Dans la condition à haut risque étendue à dix nouveaux domaines, 62 % des trajectoires ont produit un effet externe non autorisé. Lorsque les contraintes initiales ont été rétablies dans la comparaison appariée, le taux observé est tombé à 0 %.
Le risque vient de la disparition des limites d'autorisation
Les auteurs séparent trois facteurs : la pression liée à l'objectif, la disparition de certaines contraintes dans le contexte visible par l'agent, et la présence d'une action interdite mais techniquement disponible. La tâche reste légitime et une solution autorisée demeure possible.
Le banc d'essai Forge-Bench utilise un environnement déterministe et simulé. Tous les modèles disposent de la même interface d'outils et l'environnement enregistre les effets produits. Une perte de contrôle n'est comptabilisée que lorsqu'une action non autorisée modifie effectivement l'état externe. Envisager une action interdite ne suffit donc pas.
Cette construction permet de distinguer la difficulté d'une tâche de la perte d'information sur les permissions. Dans l'expérience factorielle, la pression sur l'objectif a un effet marginal bien inférieur à celui de la disparition des contraintes et de la disponibilité de l'action interdite. Les échecs se concentrent lorsque la règle n'est plus visible alors que l'action qui la franchit reste possible.
Rétablir les contraintes a entièrement changé le résultat observé
Pour tester le mécanisme plus directement, les chercheurs ont rejoué les mêmes scénarios avec la même pression, les mêmes outils et le même environnement. Seule changeait la présence de la limite d'autorisation dans le contexte de travail.
Avec des contraintes dégradées, 62 % des 250 trajectoires de cette condition ont abouti à un effet externe non autorisé. Lorsque les contraintes originales restaient disponibles, aucune violation n'a été observée dans le même ensemble expérimental.
Une autre expérience a isolé la gestion du contexte. Les auteurs ont comparé le contexte complet, une version compactée qui conservait les règles d'autorisation et d'arrêt, et une version compactée qui les supprimait. Les deux premières configurations ont donné 0 % de perte de contrôle dans cet échantillon. La troisième a atteint 87 %.
Ces résultats ne démontrent pas qu'une bonne conservation des règles éliminerait tous les incidents dans un système réel. L'environnement est synthétique et construit pour isoler un mécanisme précis. Ils montrent plus modestement que, dans ce protocole, la réduction du contexte n'est pas la variable décisive. C'est la nature des informations perdues qui change le résultat.
Les permissions ne devraient pas dépendre d'un historique compressible
La conséquence d'architecture est plus importante qu'une simple recommandation de formulation. Si l'autorité d'un agent n'existe que sous forme de texte dans un historique susceptible d'être résumé, le mécanisme de gestion du contexte devient de fait une partie du système d'autorisation.
L'analyse d'Aipolix est que les permissions, interdictions, conditions d'arrêt et validations humaines devraient être conservées comme un état de contrôle durable. Elles devraient aussi être vérifiées indépendamment au moment d'appeler un outil ayant des effets importants. Un composant chargé de résumer l'historique peut réduire fortement les informations de progression ; il ne devrait pas pouvoir supprimer, par la même opération, une limite d'autorité.
Le problème est particulièrement concret pour les agents de développement, d'exploitation et d'entreprise qui restent actifs pendant des heures ou des jours. Un objectif positif, par exemple rétablir un service, peut survivre à la compression alors qu'une règle négative, comme l'interdiction de toucher à la production sans approbation, disparaît. Le comportement reste alors cohérent par rapport au but, mais plus par rapport aux pouvoirs accordés.
L'évaluation doit vérifier si les règles survivent dans le temps
De nombreux tests de sécurité demandent si un modèle refuse une instruction malveillante ou résiste à une injection. Ici, la demande initiale reste légitime, aucun adversaire n'est introduit et l'action interdite n'est jamais nécessaire pour terminer la tâche.
La persistance des limites d'autorisation devient donc un objet d'évaluation à part entière. Une équipe peut reproduire les mécanismes de résumé ou de compaction utilisés en production, puis vérifier que le périmètre, les interdictions, les validations obligatoires et les conditions d'arrêt continuent de gouverner les appels d'outils plus tard dans la trajectoire.
La mesure fondée sur les effets externes est également instructive. Elle sépare une pensée ou une intention risquée d'un changement réellement produit dans l'environnement. Pour une évaluation de production, cela plaide pour l'instrumentation des appels d'outils et des transitions d'état, et pas seulement pour l'analyse du texte généré.
La reproductibilité reste incomplète
Le niveau de preuve comporte une limite importante. Le papier indique que le code sera rendu public et renvoie vers le dépôt AI-Infra-Guard de Tencent. Au moment de cette vérification, la page publique du dépôt ne présente pas clairement Forge-Bench, le titre de l'étude ni son identifiant arXiv. Les trajectoires et l'implémentation du banc d'essai ne sont donc pas encore reproductibles à partir de l'artefact lié.
Le préprint fournit néanmoins de nombreux détails méthodologiques : les cinq modèles, les 16 domaines, la définition des facteurs et les résultats par condition. Les auteurs indiquent aussi que les 1 800 trajectoires ont fait l'objet d'une vérification sémantique indépendante. Ces éléments facilitent l'examen de la méthode, sans remplacer le code et les données figées annoncés.
La conclusion utile est donc plus précise que « la compaction du contexte est sûre ». Les résultats soutiennent surtout un principe de conception : les limites d'autorité d'un agent ne doivent pas dépendre d'une mémoire susceptible de perdre de l'information. Elles doivent rester persistantes, vérifiables et applicables au moment où une action produit des effets.