A equipa que criou a família EAGLE de métodos de descodificação especulativa lançou o EAGLE-4 a 20 de outubro de 2026, disponibilizando o código de inferência no GitHub, um pacote Python chamado eagle-harness no PyPI e modelos de rascunho treinados no Hugging Face. A descodificação especulativa acelera um grande modelo de linguagem: um pequeno modelo auxiliar adivinha vários tokens à frente e o modelo principal confirma-os numa única passagem. A promessa do EAGLE-4 é que um só modelo de rascunho por modelo principal continue a compensar desde um único pedido até um servidor ocupado com centenas de pedidos em simultâneo, em diferentes tipos de hardware.
A peça central chama-se EAGLE-Harness. Numa fase de aquecimento, mede quanto tempo demoram o rascunho e a verificação na máquina para vários tamanhos de lote, comprimentos de contexto e números de tokens especulativos, e guarda esses valores em tabelas. Durante a geração, combina essas estimativas de custo com a confiança do modelo auxiliar para decidir a profundidade e a largura de cada árvore de rascunho e quantos tokens enviar para verificação. Com pouca carga pode usar uma árvore ramificada; com muita carga pode passar a uma cadeia simples, porque uma árvore larga que compensa para um utilizador pode desperdiçar capacidade quando há centenas à espera.
Duas outras alterações reduzem o custo do próprio modelo auxiliar. Uma camada de saída de baixa ordem faz primeiro uma pré-seleção de tokens candidatos em todo o vocabulário, e só esses candidatos são avaliados pela camada de saída completa; segundo a Eagle, isto reduziu em 55,6% a latência total de cada passo de rascunho na configuração medida. O modelo auxiliar usa ainda atenção em janela deslizante sobre as 4096 posições mais recentes e uma cache que só acrescenta entradas, pelo que o custo de atenção se mantém estável à medida que as conversas crescem. De acordo com o projeto, o modelo de rascunho para Qwen tem uma única camada Transformer com cerca de 0,44 mil milhões de parâmetros.
Os números de destaque são da própria Eagle. Com o NVIDIA Nemotron 3.5 Super VL, um modelo 120B-A12B, em quatro GPU NVIDIA B300, a empresa indica 647 tokens por segundo para um pedido, 2,74 vezes a descodificação normal, e 33 480 tokens por segundo agregados com 512 pedidos em simultâneo, um ganho de 1,69 vezes. Para o Qwen3.8-27B, afirma superar dois métodos concorrentes, DSpark e DFlash 2, tanto com um como com 512 pedidos. A AMD contribuiu com resultados no primeiro dia numa Instinct MI350X, onde o débito de um pedido subiu 3,49 vezes, e o anúncio descreve também testes em CPU com um modelo Gemma de 4 bits através do llama.cpp, incluindo um telemóvel em que a energia por token gerado caiu cerca de 53%.
O código instala-se como extensão em versões modificadas do SGLang e do vLLM, e no TokenSpeed, um motor de inferência da LightSeek Foundation. No mesmo dia, a LightSeek publicou um artigo próprio a explicar como a ferramenta TorchSpec treina os modelos de rascunho do EAGLE-4 e como o TokenSpeed os serve. Os motores modificados são distribuídos como pacotes fixos e imagens de contentor. No lançamento, a imagem para ROCm ainda não estava publicada, a qualificação da imagem do vLLM continuava pendente segundo o guia de instalação e o suporte ao TokenSpeed estava marcado como experimental. Uma atualização 0.1.1 saiu a 21 de outubro e, a 22 de outubro, o repositório somava cerca de 780 estrelas no GitHub.
Há um pormenor importante para quem pensa usar o EAGLE-4 em produção: não é código aberto. O README descreve-o como software de fonte disponível, sujeito à Eagle 4 Source-Available License. Esta licença só permite parte do uso comercial abaixo de um limite de 20 milhões de dólares de receitas agregadas e exige um acordo comercial separado para ofertas concorrentes, independentemente das receitas. Os pesos dos modelos mantêm as licenças dos respetivos titulares.
Quando esta notícia foi verificada, ainda não havia testes independentes. Todos os valores de débito vêm da Eagle, do seu artigo científico e dos parceiros de integração, e a maioria foi medida numa única configuração de GPU de topo à temperatura 0, pelo que os ganhos reais dependerão do modelo, do hardware, da carga de trabalho e das definições de amostragem.