FreeToken aponta para AMD, Apple Silicon e multi-GPU no novo roadmap

O FreeToken tornou-se conhecido por executar modelos Mixture-of-Experts muito grandes em hardware de consumo e workstations. O próximo desafio do projeto, porém, já não é apenas colocar modelos maiores em VRAM limitada: o novo roadmap de 2026 aponta para uma expansão para além do runtime atual centrado em NVIDIA.

O roadmap oficial, publicado a 23 de agosto, inclui um motor Metal nativo para Apple Silicon, suporte de GPUs AMD através de ROCm e suporte para DGX Spark com wheels aarch64, kernels sm_121 e modo de memória unificada.

Também estão planeados input de imagem para as famílias Qwen3.5, Qwen3.6, Qwen3.8 e Gemma-4, tensor parallelism em múltiplos GPUs, suporte GGUF mais abrangente e speculative decoding com MTP, DFlash e Dspark.

O suporte oficial continua limitado a NVIDIA

O roadmap é relevante precisamente porque o estado atual continua mais restrito.

A FAQ mantida pelo projeto define o suporte oficial atual como x86_64 com GPU NVIDIA da geração Ampere ou superior, ou seja, RTX 30 e mais recentes, com driver r580+ e CUDA 13. Windows e Linux são suportados através do FreeToken Desktop e o pacote Python é suportado em Linux.

A documentação de instalação confirma o mesmo requisito.

AMD, macOS e DGX Spark são, portanto, objetivos do roadmap e não plataformas oficialmente suportadas hoje.

Esta distinção é importante porque o próprio roadmap está marcado como work in progress.

A comunidade já está a testar o caminho AMD

O objetivo AMD, no entanto, já não é puramente teórico.

Um contributor publicou um port Windows 11 + ROCm que executa FreeToken num AMD RX 9070 XT sem toolchain NVIDIA. O relatório diz que model loading, prefill, decode, SSE streaming e a interface web funcionaram no fork, com aproximadamente 57 tokens/s em Qwen2.5-3B BF16.

Esse port não é suporte oficial upstream. O mesmo relatório indica que o MoE expert offload ainda não tinha sido completamente testado e que vários caminhos GGUF e de quantização estavam incompletos.

Um segundo relatório comunitário num RX 9060 XT afirma ter colocado o caminho packed-GGUF a funcionar end-to-end para workloads dense e MoE, além de identificar problemas low-level de memória host e device pointers responsáveis por crashes no offload decode em RDNA4.

Estes resultados mostram que parte da arquitetura do FreeToken pode ser adaptada a ROCm. Não demonstram ainda maturidade para produção.

Porque o roadmap importa

A proposta central do FreeToken é tratar memória GPU, RAM, CPU e bandwidth de interconnect como um único recurso elástico em vez de considerar VRAM uma fronteira rígida.

Se esse modelo funcionar em vários vendors de GPU, a importância do sistema aumenta.

A infraestrutura de local AI continua muito fragmentada. A NVIDIA mantém o ecossistema de software mais forte, mas developers querem cada vez mais correr modelos em desktops AMD, Apple Silicon e sistemas de memória unificada sem manter uma stack diferente para cada plataforma.

Se o FreeToken conseguir manter o mesmo modelo de serving em CUDA, ROCm e Metal, deixa de ser apenas um runtime especializado para RTX e pode tornar-se numa camada de portabilidade para grandes modelos locais.

O plano multi-GPU reforça a mesma direção. Tensor parallelism permitiria dividir um único modelo entre vários GPUs numa workstation, enquanto o suporte a DGX Spark levaria o sistema para pequenos equipamentos AI interligados.

Multimodal e speculative decoding também expandem o alvo

O roadmap não é apenas sobre hardware.

Image input para modelos vision-language Qwen e Gemma levaria o FreeToken para além de agentes text-only. Suporte GGUF mais amplo facilitaria o uso do grande ecossistema de checkpoints quantizados pela comunidade.

Speculative decoding também pode reduzir latency em agentes interativos através da previsão de múltiplos tokens ou sequências draft antes do modelo principal.

Em conjunto, estes objetivos sugerem que os maintainers querem transformar o FreeToken de uma implementação de investigação numa plataforma local de serving mais abrangente.

O que acompanhar agora

O primeiro milestone importante será suporte AMD oficial. Os forks comunitários mostram que RDNA4 pode funcionar, mas upstream integration, packaging, cobertura de kernels, reliability do MoE offload e performance reprodutível são problemas distintos.

Apple Silicon poderá ser ainda mais relevante devido às máquinas com grande quantidade de memória unificada.

Tensor parallelism em múltiplos GPUs será outro teste importante, porque fará o FreeToken evoluir de um runtime single-GPU apoiado por RAM para um sistema local de serving distribuído.

Por agora, a notícia não é que o FreeToken já suporta todas estas plataformas. Não suporta. O desenvolvimento significativo é que o projeto definiu publicamente um caminho para além do lançamento NVIDIA-only e a comunidade já começou a validar parte desse caminho em hardware AMD.

Fontes
- FreeToken Roadmap (2026)
- FreeToken FAQ
- FreeToken installation requirements
- Community Windows/ROCm RDNA4 port
- Community RX 9060 XT GGUF and MoE bring-up