FreeToken vise AMD, Apple Silicon et le multi-GPU dans sa nouvelle roadmap

FreeToken s'est fait connaître en exécutant de très grands modèles Mixture-of-Experts sur du matériel grand public et workstation. Son prochain défi dépasse désormais la seule gestion de modèles trop grands pour la VRAM : le projet a publié une roadmap 2026 qui vise à sortir de son runtime actuellement centré sur NVIDIA.

La roadmap officielle, publiée le 23 août, prévoit un moteur Metal natif pour Apple Silicon, le support des GPU AMD via ROCm et le support de DGX Spark avec des wheels aarch64, des kernels sm_121 et un mode de mémoire unifiée.

Elle prévoit aussi l'entrée image pour les familles Qwen3.5, Qwen3.6, Qwen3.8 et Gemma-4, le tensor parallelism sur plusieurs GPU, un support GGUF plus large et le speculative decoding avec notamment MTP, DFlash et Dspark.

Le support officiel reste limité à NVIDIA

La roadmap est significative précisément parce que la version actuelle est plus limitée.

La FAQ maintenue par le projet définit le support officiel actuel comme x86_64 avec un GPU NVIDIA Ampere ou plus récent, soit RTX 30 et générations suivantes, avec driver r580+ et CUDA 13. Windows et Linux sont supportés via FreeToken Desktop, tandis que le package Python est proposé sous Linux.

La documentation d'installation confirme la même exigence.

AMD, macOS et DGX Spark sont donc encore des objectifs de roadmap et non des plateformes officiellement supportées.

Cette nuance est importante car la roadmap elle-même est marquée comme work in progress.

La communauté teste déjà la voie AMD

L'objectif AMD n'est cependant plus entièrement théorique.

Un contributeur a publié un port Windows 11 + ROCm faisant fonctionner FreeToken sur une AMD RX 9070 XT sans toolchain NVIDIA. Le rapport indique que le chargement du modèle, le prefill, le decode, le streaming SSE et l'interface web fonctionnaient sur le fork, avec environ 57 tokens/s sur Qwen2.5-3B en BF16.

Ce port n'est pas un support officiel upstream. Le même rapport précise que l'offload MoE n'avait pas encore été entièrement testé et que plusieurs chemins GGUF et de quantification restaient incomplets.

Un second rapport communautaire sur RX 9060 XT indique que le chemin packed-GGUF a été exécuté de bout en bout pour des workloads dense et MoE, tout en identifiant plusieurs problèmes bas niveau liés à la mémoire hôte et aux pointeurs device sur RDNA4.

Ces résultats suggèrent qu'une partie de l'architecture FreeToken peut être adaptée à ROCm. Ils ne prouvent pas encore une maturité de production.

Pourquoi cette roadmap compte

La proposition centrale de FreeToken consiste à utiliser ensemble mémoire GPU, RAM, CPU et bande passante d'interconnexion au lieu de considérer la VRAM comme une limite absolue.

Si ce modèle de serving fonctionne sur plusieurs fournisseurs GPU, sa portée stratégique augmente.

Le local AI reste aujourd'hui très fragmenté. NVIDIA possède l'écosystème logiciel le plus mature, mais de nombreux développeurs veulent également utiliser des desktops AMD, Apple Silicon et des systèmes à mémoire unifiée sans maintenir un stack différent pour chaque plateforme.

Un FreeToken capable de conserver le même modèle d'exécution sur CUDA, ROCm et Metal deviendrait moins un runtime spécialisé RTX et davantage une couche de portabilité pour grands modèles locaux.

Le multi-GPU va dans la même direction. Le tensor parallelism permettrait de répartir un modèle sur plusieurs GPU dans une même workstation, tandis que le support DGX Spark étendrait la cible vers des systèmes AI compacts reliés entre eux.

Multimodal et speculative decoding élargissent aussi le projet

La roadmap ne concerne pas uniquement le matériel.

Le support des images pour les modèles vision-language Qwen et Gemma ferait évoluer FreeToken au-delà des agents textuels. Un support GGUF plus large faciliterait l'utilisation de l'écosystème massif de checkpoints quantifiés par la communauté.

Le speculative decoding pourrait réduire la latence d'agents interactifs en prédisant plusieurs tokens ou des séquences draft avant le modèle principal.

Ces objectifs indiquent que FreeToken cherche à passer d'une implémentation de recherche à une plateforme locale de serving plus générale.

Ce qu'il faut surveiller

Le premier jalon important sera le support AMD officiel. Les forks communautaires montrent que RDNA4 peut fonctionner, mais l'intégration upstream, le packaging, la couverture des kernels, la fiabilité de l'offload MoE et des performances reproductibles restent des problèmes distincts.

Apple Silicon pourrait être encore plus important grâce aux configurations disposant de grandes quantités de mémoire unifiée.

Le tensor parallelism multi-GPU sera également un test majeur, car il fera évoluer FreeToken d'un runtime mono-GPU assisté par la RAM vers un système de serving local distribué.

Pour l'instant, l'information importante n'est pas que FreeToken supporte déjà toutes ces plateformes. Ce n'est pas le cas. Le développement notable est que le projet a défini publiquement une trajectoire au-delà de son lancement NVIDIA-only et que sa communauté commence déjà à valider une partie de cette trajectoire sur AMD.

Sources
- FreeToken Roadmap (2026)
- FreeToken FAQ
- FreeToken installation requirements
- Community Windows/ROCm RDNA4 port
- Community RX 9060 XT GGUF and MoE bring-up