Un agent peut produire un flux DeFi complet, comportant les bonnes opérations et même une limite de glissement de prix, tout en autorisant une transaction dont l'impact sur le marché est excessif. La nouvelle prépublication DeFiFlowBench transforme ce problème en test exécutable, au lieu de juger les flux uniquement sur leur syntaxe ou leur structure.
Les auteurs ont constitué 207 requêtes couvrant échanges de jetons, ordres à cours limité, transferts inter-chaînes et scénarios composés. Leur résultat le plus utile est simple : un flux structurellement correct et muni de protections déclarées n'est pas nécessairement sûr au moment de l'exécution.
Une structure correcte ne suffit pas
DeFiFlowBench organise l'évaluation en plusieurs niveaux. Le premier vérifie la présence des types de nœuds et des connexions attendues. Le deuxième contrôle que les paramètres indispensables sont renseignés. Le troisième examine si les protections requises sont présentes et correctement paramétrées.
Une vérification distincte exécute ensuite les configurations compatibles dans un environnement EVM local simplifié. Cette étape évite de confondre conformité statique et conséquence économique. Le banc d'essai utilise un teneur de marché automatisé à produit constant et considère comme dangereuse une transaction exécutée dont l'impact propre sur le prix dépasse un plafond fixe de 5 %.
Dans cet environnement, les auteurs indiquent que les variantes de génération directe, contrainte et avec exemple produisent chacune 14 à 19 exécutions dangereuses sur l'ensemble de test. Ces chiffres décrivent le protocole expérimental du papier et ne mesurent pas le taux d'échec des agents DeFi en production.
Le glissement et l'impact de l'ordre ne couvrent pas le même risque
Le point technique le plus important concerne la différence entre tolérance au glissement et impact de prix. Un montant minimal de sortie calculé à partir d'un devis déjà affecté par la taille de l'ordre peut protéger contre une variation entre le devis et l'exécution. Il n'empêche pas forcément un ordre important de déplacer lui-même le prix au-delà d'un niveau acceptable.
Un générateur peut donc apprendre à ajouter un paramètre de glissement et donner l'impression que le flux est protégé, tout en laissant sans limite l'effet économique principal de l'opération.
DeFiFlowBench évalue séparément une barrière sur l'impact de prix. Les auteurs étudient aussi le cas où le flux contient déjà un seuil trop permissif : ajouter une valeur par défaut ne corrige rien lorsqu'une valeur dangereuse existe déjà.
Koan-Safe sort les protections du générateur
Les auteurs proposent Koan-Safe, une architecture qui sépare l'interprétation de l'intention, la génération du candidat et une couche indépendante chargée d'appliquer les protections. Cette dernière peut réparer des éléments structurels manquants et ajouter, lorsqu'ils sont absents, une limite de glissement, une barrière d'impact de prix, un nombre de confirmations pour les ponts ou une date d'expiration pour les ordres.
Sur 75 requêtes de test, le papier rapporte un score de 0,67 sur son indicateur statique pour la variante hybride de Koan-Safe, contre 0,33 pour la meilleure référence. Les sorties sauvegardées de cette variante ne produisent aucune exécution classée dangereuse par le vérificateur local corrigé. Lorsque les auteurs désactivent l'application des protections tout en conservant le même candidat, ils observent 14 à 17 exécutions dangereuses.
Ces résultats restent limités à l'expérience. Le banc d'essai ne déroule pas l'intégralité du graphe généré sur un protocole réel et simplifie jetons, liquidité et routage. Le papier précise lui-même qu'un score statique élevé ou l'absence d'échec observé ne constitue pas une garantie générale de sécurité.
Le plafond de politique est le résultat le plus généralisable
La limite de la réparation apparaît lorsqu'un seuil existant est déjà trop permissif. Koan-Safe remplit les paramètres absents, mais ne remplace pas automatiquement toute valeur dangereuse proposée par le modèle ou par l'utilisateur.
Les auteurs testent donc séparément un plafond de politique sur une grille de 36 cas. Ce contrôle traite une catégorie de problèmes que la seule réparation structurelle ne peut pas résoudre.
L'analyse d'Aipolix est que cette idée dépasse largement la DeFi. Le composant qui génère un flux ne devrait pas définir à lui seul l'enveloppe de sécurité utilisée pour autoriser ce même flux. L'agent peut proposer des paramètres, mais l'exécution doit rester soumise à une politique externe comportant des limites qui ne peuvent pas être affaiblies par le plan généré.
Dans la finance, il peut s'agir d'un plafond d'impact de prix. Pour l'infrastructure, ce pourrait être une limite de périmètre, des ressources protégées ou une fenêtre de changement. Pour les systèmes de données, la règle peut porter sur l'étendue maximale d'une divulgation. Le principe commun est qu'une action correcte sur le plan structurel ou sémantique doit encore respecter des limites sur ses effets réels.
Une étude utile, mais encore préliminaire
DeFiFlowBench est la première version d'une prépublication sur arXiv, sans validation par les pairs ni réplication indépendante annoncée. Le banc d'évaluation est construit par l'équipe elle-même et son environnement d'exécution simplifie volontairement la DeFi réelle. Il ne démontre pas que le flux respecte parfaitement l'intention de l'utilisateur ni qu'il resterait sûr face à la liquidité réelle, au comportement des protocoles déployés ou aux conditions de marché adverses.
Le papier renvoie vers le dépôt Koan comme emplacement du code. Ce dépôt décrit une plateforme DeFi exécutable, mais sa présentation actuelle ne rend pas encore les éléments DeFiFlowBench et Koan-Safe aussi directement vérifiables que le niveau de détail de la méthodologie du papier pourrait le laisser attendre. Cela limite pour l'instant la reproductibilité indépendante.
Pour les équipes qui construisent des agents, la leçon immédiate est donc architecturale : l'évaluation doit mesurer les conséquences de l'exécution, et le dernier point de contrôle doit imposer des limites externes que le flux généré ne peut pas réduire silencieusement.