L'équipe qui a conçu la famille EAGLE de méthodes de décodage spéculatif a lancé EAGLE-4 le 20 octobre 2026, en mettant en ligne le code d'inférence sur GitHub, un paquet Python baptisé eagle-harness sur PyPI et des modèles de brouillon entraînés sur Hugging Face. Le décodage spéculatif accélère un grand modèle de langage : un petit modèle auxiliaire devine plusieurs tokens d'avance, puis le modèle principal les vérifie en une seule passe. EAGLE-4 promet qu'un seul modèle de brouillon par modèle cible reste rentable aussi bien pour une requête isolée que pour un serveur chargé traitant des centaines de requêtes simultanées, sur différents types de matériel.
La pièce maîtresse s'appelle EAGLE-Harness. Pendant une phase de préchauffage, il mesure sur la machine le temps nécessaire à la rédaction des brouillons et à leur vérification pour diverses tailles de lot, longueurs de contexte et quantités de tokens spéculatifs, puis range ces mesures dans des tables. Pendant la génération, il croise ces estimations de coût avec la confiance du modèle auxiliaire pour choisir la profondeur et la largeur de chaque arbre de brouillon, ainsi que le nombre de tokens à soumettre à vérification. À faible charge, il peut recourir à un arbre ramifié ; à forte charge, il peut basculer vers une simple chaîne, car un arbre large rentable pour un utilisateur gaspille des ressources quand des centaines attendent leur tour.
Deux autres changements réduisent le coût du modèle auxiliaire lui-même. Une tête de sortie de faible rang présélectionne d'abord des tokens candidats dans tout le vocabulaire, et seuls ces candidats passent ensuite par la couche de sortie complète ; selon Eagle, cela a réduit de 55,6 % la latence totale d'une étape de brouillon dans sa configuration de mesure. Le modèle auxiliaire utilise aussi une attention à fenêtre glissante sur les 4 096 dernières positions et un cache où l'on ne fait qu'ajouter des entrées, si bien que le coût de l'attention reste stable quand les conversations s'allongent. D'après le projet, le brouillon pour Qwen se résume à une seule couche Transformer d'environ 0,44 milliard de paramètres.
Les chiffres mis en avant proviennent d'Eagle. Sur NVIDIA Nemotron 3.5 Super VL, un modèle 120B-A12B, avec quatre GPU NVIDIA B300, l'entreprise revendique 647 tokens par seconde pour une requête, soit 2,74 fois le décodage classique, et 33 480 tokens par seconde cumulés pour 512 requêtes simultanées, soit un gain de 1,69 fois. Pour Qwen3.8-27B, elle affirme devancer deux méthodes concurrentes, DSpark et DFlash 2, avec une comme avec 512 requêtes. AMD a fourni dès le premier jour des résultats sur une Instinct MI350X, où le débit d'une requête a été multiplié par 3,49, et l'annonce décrit aussi des essais sur processeur avec un modèle Gemma en 4 bits via llama.cpp, dont un test sur téléphone où l'énergie par token généré a baissé d'environ 53 %.
Le code s'installe comme extension dans des versions modifiées de SGLang et de vLLM, ainsi que dans TokenSpeed, un moteur d'inférence de la LightSeek Foundation. Le même jour, LightSeek a publié son propre billet expliquant comment son outil TorchSpec entraîne les brouillons d'EAGLE-4 et comment TokenSpeed les exécute. Les moteurs modifiés sont livrés sous forme de paquets figés et d'images de conteneur. Au lancement, l'image ROCm n'était pas encore publiée, la qualification de l'image vLLM restait en attente selon le guide d'installation et la prise en charge de TokenSpeed était qualifiée d'expérimentale. Une mise à jour 0.1.1 a suivi le 21 octobre, et le dépôt comptait environ 780 étoiles sur GitHub le 22 octobre.
Un point compte pour qui envisage un usage en production : EAGLE-4 n'est pas open source. Le README le présente comme un logiciel à source disponible régi par l'Eagle 4 Source-Available License. Cette licence n'autorise une partie des usages commerciaux qu'en dessous d'un seuil de 20 millions de dollars de chiffre d'affaires cumulé et impose un accord commercial distinct pour toute offre concurrente, quel que soit le chiffre d'affaires. Les poids des modèles restent soumis aux licences de leurs propriétaires.
Aucun banc d'essai indépendant n'était disponible au moment de nos vérifications. Tous les chiffres de débit viennent d'Eagle, de son article de recherche et de ses partenaires d'intégration, et la plupart ont été mesurés sur une seule configuration de GPU haut de gamme à température 0 ; les gains réels dépendront donc du modèle, du matériel, de la charge et des réglages d'échantillonnage.