Une équipe de recherche gravitant autour du Han Lab du MIT a publié en open source Evolving Infra, un système de service de LLM conçu spécialement pour le trafic des agents. Le dépôt mit-han-lab/EvolvingInfra est apparu sur GitHub le 10 novembre 2026 sous licence MIT, au lendemain de la soumission de l'article « Evolving Infra: Agent-Adaptive LLM Serving at Scale » (arXiv 2611.12304). Les auteurs sont Hao Kang, Weili Xu, Ziyang Li, Zheng Du, Hanchen Li, Tian Xia, Song Bian, Tushar Krishna, Huizi Mao, Ion Stoica et Song Han ; le README du projet cite comme affiliations Georgia Tech, l'université de l'Illinois à Urbana-Champaign, UC Berkeley, NVIDIA, OpenAI et le MIT.

Le constat de départ : les agents de programmation, de mathématiques ou de pilotage d'ordinateur pèsent désormais lourd dans la demande d'inférence, et ils ne se comportent pas comme un chat. Ils enchaînent de longues séries de requêtes, lancent des sous-agents et compactent régulièrement leur historique. Les serveurs actuels, qui séparent prefill et decode, répartissent les GPU en groupes figés et gèrent le cache KV à partir de signaux grossiers. Résultat, selon les auteurs : des charges mal équilibrées et l'éviction d'un contexte qu'un agent s'apprêtait justement à réutiliser.

Evolving Infra agit sur trois leviers. D'abord, il dissocie l'allocation du calcul du stockage du cache KV : chaque nœud peut exécuter la phase de prefill comme celle de decode, et le contexte mis en cache réside dans un pool de mémoire hôte lisible par tous, si bien qu'un nœud change de rôle en quelques secondes, sans redémarrage. Ensuite, un planificateur s'appuie sur un modèle de coûts qui intègre sous-agents et gestion du contexte pour ajuster, à chaud, la répartition entre prefill et decode. Enfin, un gestionnaire distribué de cache KV suit quelles branches d'agent référencent encore quel contexte. Il évince en priorité ce dont plus aucune branche n'a besoin, historiques remplacés par une compaction ou contexte de sous-agents terminés, et garde ce qui servira de nouveau.

Les chiffres mis en avant proviennent des expériences des auteurs. En servant GLM-5.2 et Kimi K2.6 sur des charges Claude Code, de mathématiques Putnam et de pilotage d'ordinateur OSWorld, sur GPU GB300, ils annoncent un débit de 1,10 à 2,73 fois celui de Dynamo, le framework de production de NVIDIA, 81 à 95 % de réutilisation de KV perdue en moins, une latence moyenne de bout en bout jusqu'à 4,1 fois plus faible et un temps jusqu'au premier token au 95e centile jusqu'à 14 fois plus court. Un changement de phase prend en moyenne 6,2 secondes dans leurs essais, contre 754 secondes pour relancer un nœud Dynamo. Quand la charge a glissé d'agents mathématiques vers des agents de pilotage d'ordinateur, le système a adapté sa répartition en ligne et atteint 2,1 fois le débit de Dynamo.

Le code dépasse le simple complément d'article. Le moteur et le routeur en Rust dérivent de SGLang et conservent leur licence Apache 2.0, l'annuaire KV repose sur l'indexeur de Dynamo et une image d'exécution vise les machines H200, B300 et GB300. Particularité notable : le dépôt est pensé pour être piloté par des agents de programmation. Déploiement, branchement des outils, reproduction des tests et diagnostic sont rédigés sous forme de skills que des outils comme Claude Code ou Codex suivent étape par étape. Les traces d'agents enregistrées sont publiées sur Hugging Face pour permettre de rejouer les mesures.

Pour les équipes qui font tourner des flottes d'agents sur leurs propres GPU, le travail cible un vrai poste de coût. Les sessions d'agents réutilisent de longs contextes sur de nombreux tours : garder en mémoire le bon cache KV et rééquilibrer prefill et decode au gré de l'évolution des charges se traduit directement en latence et en efficacité matérielle.

Reste à confirmer ces résultats de l'extérieur. Tous les chiffres sont des mesures des auteurs, sur des charges et des grappes qu'ils ont choisies, l'article n'a pas encore été relu par des pairs et aucun test indépendant ni analyse de presse n'avait été trouvé au moment de la rédaction. Reproduire le résultat Claude Code mobilise neuf nœuds GPU pendant environ deux heures, ce qui met la vérification hors de portée de la plupart des lecteurs. Le dépôt comptait 54 étoiles sur GitHub le 16 novembre.

Références