Uma equipa de investigação ligada ao Han Lab do MIT disponibilizou em código aberto o Evolving Infra, um sistema para servir LLM pensado de raiz para o tráfego gerado por agentes. O repositório mit-han-lab/EvolvingInfra surgiu no GitHub a 10 de novembro de 2026, sob licença MIT, um dia depois da submissão do artigo "Evolving Infra: Agent-Adaptive LLM Serving at Scale" (arXiv 2611.12304). Assinam o trabalho Hao Kang, Weili Xu, Ziyang Li, Zheng Du, Hanchen Li, Tian Xia, Song Bian, Tushar Krishna, Huizi Mao, Ion Stoica e Song Han; o README do projeto indica como afiliações o Georgia Tech, a Universidade do Illinois em Urbana-Champaign, a UC Berkeley, a NVIDIA, a OpenAI e o MIT.

O ponto de partida é simples: agentes de programação, de matemática e de utilização de computador já representam uma fatia grande da procura de inferência e comportam-se de forma diferente de um chat. Disparam longas cadeias de pedidos, lançam subagentes e compactam periodicamente o histórico. Os servidores atuais com prefill e decode desagregados dividem as GPU em grupos fixos e gerem a cache KV com sinais grosseiros, o que, segundo os autores, provoca desequilíbrios de carga e a remoção de contexto que um agente estava prestes a reutilizar.

O Evolving Infra muda três coisas. Primeiro, separa a atribuição de computação do armazenamento da cache KV: qualquer nó pode executar a fase de prefill ou a de decode de um pedido, e o contexto guardado fica num conjunto de memória do anfitrião acessível a todos, pelo que um nó muda de papel em segundos e sem reiniciar. Segundo, um planeador recorre a um modelo de custos que tem em conta subagentes e gestão de contexto para ajustar, com o serviço a correr, a proporção entre prefill e decode. Terceiro, um gestor distribuído de cache KV sabe que ramos de cada agente ainda usam que contexto: descarta primeiro o que nenhum ramo precisa, como históricos substituídos por compactação ou o contexto de subagentes já terminados, e preserva o que vai ser reutilizado.

Os números de destaque vêm das experiências dos próprios autores. A servir GLM-5.2 e Kimi K2.6 em cargas do Claude Code, de matemática Putnam e de utilização de computador OSWorld, em GPU GB300, relatam entre 1,10 e 2,73 vezes o débito do Dynamo, a plataforma de produção da NVIDIA, menos 81 a 95 por cento de reutilização de KV perdida, latência média de ponta a ponta até 4,1 vezes inferior e tempo até ao primeiro token no percentil 95 até 14 vezes menor. Nos testes, uma mudança de fase demora em média 6,2 segundos, contra 754 segundos para relançar um nó do Dynamo. Quando a carga passou de agentes de matemática para agentes de utilização de computador, o sistema adaptou a divisão em tempo real e chegou a 2,1 vezes o débito do Dynamo.

Não se trata de um mero anexo a um artigo. O motor e o encaminhador escrito em Rust derivam do SGLang e mantêm as licenças Apache 2.0, o diretório de KV assenta no indexador do Dynamo e há uma imagem de execução para máquinas H200, B300 e GB300. Um pormenor pouco habitual: o repositório foi desenhado para ser operado por agentes de programação. Implementação, ligação a ferramentas, reprodução dos testes e diagnóstico estão escritos como skills que ferramentas como o Claude Code ou o Codex seguem passo a passo. Os traços de agentes gravados foram publicados no Hugging Face para que outros possam repetir os testes.

Para quem gere frotas de agentes nas próprias GPU, o trabalho ataca um fator de custo real. As sessões de agentes reaproveitam contextos longos ao longo de muitos turnos, por isso manter residente a cache KV certa e reequilibrar a capacidade de prefill e decode à medida que a mistura muda tem impacto direto na latência e na eficiência do hardware.

Os resultados ainda precisam de confirmação externa. Todos os valores são medições dos autores, nas cargas e nos clusters que escolheram, o artigo ainda não passou por revisão por pares e, no momento em que este texto foi escrito, não havia testes independentes nem análise na imprensa. Reproduzir o resultado do Claude Code exige nove nós de GPU durante cerca de duas horas, o que deixa a verificação fora do alcance da maioria. O repositório tinha 54 estrelas no GitHub a 16 de novembro.

Referências