FreeToken executa modelos MoE gigantes em GPUs de consumo

FreeToken, um novo sistema open source de serving para modelos Mixture-of-Experts, procura levar para hardware de consumo e workstations uma classe de workloads de IA que normalmente pressupõe infraestrutura de datacenter. Num artigo publicado no arXiv, os investigadores descrevem um runtime edge-native que trata memória GPU, memória do host, execução em CPU e largura de banda PCIe como uma única plataforma de inferência elástica, em vez de encarar a inferência local apenas como uma versão reduzida de serving totalmente em GPU.

A principal alegação não é simplesmente que modelos muito grandes podem ser tecnicamente carregados numa máquina pessoal. O FreeToken foi concebido para os tornar utilizáveis em workloads agentic reais, nos quais prompts longos, chamadas repetidas a ferramentas e contextos em mudança pressionam o stack de serving de uma forma muito diferente de um benchmark single-turn. Os autores avaliam o sistema com coding agents, Claude Code, OpenCode, OpenClaw e workloads de raciocínio matemático, comparando-o com llama.cpp, Ollama, KTransformers e MoE-Infinity.

As arquiteturas Mixture-of-Experts criam a oportunidade. Um modelo pode ter centenas de milhares de milhões de parâmetros no total e, ainda assim, ativar apenas uma pequena parte dos experts para cada token. O DeepSeek-V4-Flash, por exemplo, tem um pool completo de experts muito maior do que a pegada de parâmetros efetivamente ativa para um token. Essa sparsity torna o cálculo ativo compatível com uma GPU de consumo potente, mas o conjunto completo dos pesos dos experts pode continuar a ultrapassar a VRAM por uma margem muito grande. O problema de sistemas passa então por mover, colocar em cache ou executar os experts em falta sem transformar o tráfego de memória num bottleneck impraticável.

O FreeToken aborda esse problema com execução adaptativa à largura de banda. Durante o prefill, usa double buffering no movimento dos experts para que os experts da camada seguinte atravessem o PCIe enquanto a GPU calcula a camada atual. Durante o decode, o runtime divide dinamicamente os cache misses entre dois caminhos: transferir experts para a memória da GPU e executar diretamente no CPU parte do trabalho dos experts. A divisão é calibrada segundo a largura de banda real do PCIe e da memória do host disponível naquela máquina, em vez de usar uma estratégia fixa definida antecipadamente.

O sistema acrescenta também semantic-aware caching orientado para workloads agentic. Tool calls e sistemas de reasoning alteram frequentemente o contexto em fronteiras semânticas significativas, em vez de prolongarem para sempre uma conversa estritamente linear. O FreeToken guarda checkpoints de estado recorrente nessas fronteiras para que, após uma edição, apenas o novo suffix tenha de ser recalculado. Durante o decode, usa ainda um cache LRU partilhado para experts, tirando partido do facto de tokens adjacentes encaminharem frequentemente para experts sobrepostos. Em conjunto, estes mecanismos procuram reduzir tanto a recomputation durante o prefill como o movimento repetido de experts.

A terceira componente é elastic memory management. GPUs de consumo raramente são appliances dedicados a inferência, por isso a VRAM disponível pode mudar enquanto browsers, ferramentas de desenvolvimento ou outras aplicações estão a correr. O FreeToken consegue redimensionar o cache de experts na GPU e reequilibrar a memória sem reiniciar o engine nem recarregar o pool de experts residente no host. O repositório publicado descreve suporte para GPUs NVIDIA RTX das séries 30, 40 e 50, APIs compatíveis com OpenAI e Anthropic e mais de 20 modelos MoE.

Os resultados principais do artigo são significativos. Numa RTX 5090, os autores reportam 77 a 83 tokens por segundo para Qwen3.6-35B-A3B e 22 a 25 tokens por segundo para DeepSeek-V4-Flash em quatro workloads. Reportam throughput 1,8 a 2,3 vezes superior ao baseline mais forte para Qwen3.6 e 1,5 a 1,9 vezes superior para DeepSeek-V4-Flash. À medida que os workloads se tornam mais agentic, a taxa de decode do FreeToken mantém-se dentro de 12% do resultado single-turn, enquanto alguns sistemas concorrentes degradam de forma mais acentuada.

A latência é outra parte importante da avaliação. Os autores afirmam que o pior time to first token observado no FreeToken permanece abaixo de 44 segundos em todas as células testadas, enquanto cada baseline ultrapassa 150 segundos em pelo menos um caso. Esta diferença é relevante para software agentic, porque um prefill muito lento pode deixar de ser apenas uma questão de performance e passar a ser um problema de timeout ou reliability. O artigo enquadra explicitamente a tail latency como uma fronteira de availability para clientes reais.

Os resultados cross-hardware são o que torna o FreeToken especialmente interessante para IA local. Os autores reportam um modelo 35B a 39,3 tokens por segundo num portátil com RTX 4060 e 8 GB de VRAM. Num gaming desktop com RTX 5090 e 32 GB, o sistema serve interativamente o DeepSeek-V4-Flash, com 284 mil milhões de parâmetros. Numa workstation com uma única RTX PRO 6000 de 96 GB, serve o GLM-5.2, com 753 mil milhões de parâmetros, a 14,9 tokens por segundo, aproximadamente o dobro do throughput que o artigo reporta para llama.cpp no mesmo nível de hardware.

Estes números devem, no entanto, ser lidos como resultados de investigação e não como benchmarks independentes já estabelecidos. A avaliação foi produzida pelos próprios autores do FreeToken, e o artigo assinala que alguns engines concorrentes não conseguem servir todos os modelos ou todos os workloads multi-turn da matriz de testes. Isso é relevante para deployability, mas também significa que nem todas as comparações são corridas perfeitamente simétricas entre configurações com o mesmo nível de suporte. Será importante haver reprodução independente em mais máquinas de consumo, sistemas operativos e versões de modelos antes de tratar os ganhos reportados como garantias gerais de performance.

Mesmo com essa ressalva, o FreeToken representa uma mudança relevante em systems engineering para IA local. As releases de modelos open-weight tornaram parâmetros frontier-scale acessíveis, mas o acesso prático continuou condicionado por capacidade de memória, bandwidth e software de serving. Um runtime que coordene CPU, GPU, memória do host e largura de banda de interligação como um único resource pool pode mudar a economia da experimentação para developers e pequenas equipas, sobretudo em workloads que de outra forma exigiriam custos elevados de inferência alojada ou GPUs de servidor dedicadas.

O projeto também pode ser inspecionado imediatamente e não existe apenas como descrição académica. O repositório GitHub do FreeToken está disponível sob licença Apache 2.0, inclui documentação de instalação e modelos e expõe um CLI e um servidor API compatível. A próxima fase de avaliação é, portanto, clara: perceber se developers externos conseguem reproduzir a performance do artigo e se o runtime permanece estável sob pressão de memória irregular e sessões agentic de longa duração em máquinas pessoais reais.

## Sources

- Artigo FreeToken no arXiv
- Repositório de código FreeToken