Hugging Face a publié une recette pour entraîner de petits « adaptateurs de harnais », en montrant que l'apprentissage par renforcement à l'intérieur d'un harnais d'agent peut rendre un modèle ouvert à la fois plus précis et moins coûteux à exécuter sur ce harnais. L'article du 20 novembre 2026 cite comme auteurs Younes B, ben burtenshaw, Nathan Habib, Lysandre, Amine Dirhoussi, Adithya S K, shaun smith, Sergio Paniego et Joel Niklaus.
Le point de départ est un reproche fait aux modèles généralistes : ils sont réglés pour une performance large, si bien que toute combinaison précise de modèle et de harnais laisse de la précision et de l'efficacité inexploitées. L'équipe a entraîné un adaptateur LoRA par harnais au-dessus de Qwen3.8-27B, pour les harnais de programmation Pi, OpenCode et Hermes Agent, le modèle restant gelé. Avec Pi sur Terminal-Bench 2.1, Hugging Face indique que le modèle de base obtient 39 % et consomme environ 2,9 mille tokens par tâche, alors que le modèle adapté atteint 55 % de pass@1 avec environ 1,5 mille tokens. Elle attribue l'essentiel du gain au fait que le modèle raisonne moins, appelle moins d'outils et réussit davantage du premier coup.
L'entraînement se fait avec le harnais tournant exactement tel qu'il est livré, et non avec une réimplémentation de la boucle d'agent. Un proxy placé entre le harnais et le serveur vLLM enregistre les tokens exacts produits, et l'entraîneur apprend à partir d'eux grâce à l'AsyncGRPOTrainer de TRL, à OpenEnv et au format de tâches Harbor, jeux de données, entraînement et exécutions étant réalisés comme des jobs sur le Hub de Hugging Face. La récompense associe la réussite ou l'échec du vérificateur à un petit bonus de 0,1 pour l'usage efficace des outils.
Une grande partie de l'article porte sur les tâches. L'équipe a cherché sur le Hub environ 59 000 environnements Harbor, conservé les sources conçues pour l'entraînement et ajouté des tâches générées à partir de demandes de fusion acceptées, avec un pipeline nommé Tasksmith. Chaque tâche a été contrôlée avec openenv validate : 858 candidates du Hub sur 1 127 ont réussi. Un contrôle de difficulté a ensuite gardé les tâches que le modèle de base ne résolvait qu'à certaines tentatives. Sur 442 tâches notées, le modèle en a résolu 151 à chaque fois et 120 jamais, ce qui laisse 171 tâches comme signal d'entraînement utile. Le jeu de données obtenu, harness-hub/agentic-coding-envs, compte 871 tâches issues de 35 dépôts, et de courtes séries d'entraînement suggèrent que la validation et le filtre de difficulté modifient ce que le modèle apprend.
Les auteurs ont aussi fusionné les trois adaptateurs en un seul super-adaptateur de rang 96, appliqué à demi-force. Sur les trois harnais, il obtient 52,5 % sur Terminal-Bench 2.1 contre 43,3 % pour le modèle de base, avec bien moins d'appels d'outils, même si, pour certains couples harnais et test, il reste derrière l'adaptateur entraîné pour ce seul harnais. Appliquer la simple somme des mises à jour a rendu les agents trop brefs et fait chuter le score de Pi.
Les adaptateurs, les fichiers GGUF, les tâches d'apprentissage par renforcement et un module de sécurité sont disponibles dans une collection Hugging Face. Tous les chiffres viennent des propres expériences de Hugging Face, sur une seule famille de modèles et un essai par tâche : la reproduction indépendante sera le prochain test de la portée de la recette.