FreeToken exécute des modèles MoE géants sur des GPU grand public
FreeToken, un nouveau système open source de serving pour les modèles Mixture-of-Experts, cherche à déplacer vers le matériel grand public et les stations de travail une catégorie de workloads IA généralement associée aux datacenters. Dans un article publié sur arXiv, les chercheurs décrivent un runtime edge-native qui traite la mémoire GPU, la mémoire hôte, l’exécution CPU et la bande passante PCIe comme une seule plateforme d’inférence élastique, plutôt que de considérer l’inférence locale comme une simple version réduite du serving entièrement sur GPU.
L’affirmation centrale n’est pas seulement qu’il est techniquement possible de charger de très grands modèles sur une machine personnelle. FreeToken est conçu pour les rendre utilisables dans de véritables workloads agentiques, où les prompts longs, les appels d’outils répétés et les contextes qui évoluent sollicitent la pile de serving très différemment d’un benchmark single-turn. Les auteurs évaluent le système avec des coding agents, Claude Code, OpenCode, OpenClaw et des workloads de raisonnement mathématique, puis le comparent à llama.cpp, Ollama, KTransformers et MoE-Infinity.
Les architectures Mixture-of-Experts rendent cette approche possible. Un modèle peut contenir des centaines de milliards de paramètres au total tout en n’activant qu’une petite partie de ses experts pour chaque token. DeepSeek-V4-Flash, par exemple, possède un pool complet d’experts bien plus important que l’empreinte de paramètres réellement active pour un token. La sparsité rend donc le calcul actif compatible avec un GPU grand public puissant, mais l’ensemble des poids des experts peut toujours dépasser largement la VRAM. Le problème système consiste à déplacer, mettre en cache ou exécuter les experts manquants sans laisser le trafic mémoire devenir un goulot d’étranglement inutilisable.
FreeToken s’attaque à ce problème avec une exécution adaptative à la bande passante. Pendant le prefill, le système utilise un double buffering du déplacement des experts afin que les experts de la couche suivante puissent traverser le PCIe pendant que le GPU calcule la couche courante. Pendant le decode, le runtime répartit dynamiquement les cache misses entre deux voies : charger certains experts dans la mémoire GPU et exécuter directement une partie du travail des experts sur le CPU. Cette répartition est calibrée selon la bande passante PCIe et la bande passante mémoire hôte réellement disponibles sur la machine, au lieu d’utiliser une stratégie fixe.
Le système ajoute également un semantic-aware caching pensé pour les workloads agentiques. Les tool calls et les systèmes de reasoning modifient souvent le contexte à des frontières sémantiques précises plutôt que de prolonger indéfiniment une conversation strictement linéaire. FreeToken conserve des checkpoints d’état récurrent autour de ces frontières afin de ne recalculer que le suffixe modifié après une édition. Pendant le decode, il utilise aussi un cache LRU partagé pour les experts, en profitant du fait que des tokens voisins routent fréquemment vers des experts qui se recouvrent. Ces mécanismes visent à réduire à la fois la recomputation du prefill et les mouvements répétés d’experts.
Le troisième élément est la gestion élastique de la mémoire. Les GPU grand public ne sont généralement pas des appliances d’inférence dédiées, et la VRAM disponible peut varier lorsque des navigateurs, des outils de développement ou d’autres applications fonctionnent en parallèle. FreeToken peut redimensionner son cache d’experts GPU et rééquilibrer la mémoire sans redémarrer le moteur ni recharger le pool d’experts conservé en mémoire hôte. Le dépôt publié décrit la prise en charge des GPU NVIDIA RTX séries 30, 40 et 50, des API compatibles OpenAI et Anthropic, ainsi que de plus de 20 modèles MoE.
Les résultats principaux de l’article sont importants. Sur une RTX 5090, les auteurs annoncent 77 à 83 tokens par seconde pour Qwen3.6-35B-A3B et 22 à 25 tokens par seconde pour DeepSeek-V4-Flash sur quatre workloads. Ils indiquent un throughput 1,8 à 2,3 fois supérieur au meilleur baseline pour Qwen3.6, et 1,5 à 1,9 fois supérieur pour DeepSeek-V4-Flash. Lorsque les workloads deviennent plus agentiques, le taux de decode de FreeToken reste dans une marge de 12 % par rapport au résultat single-turn, alors que certains systèmes concurrents se dégradent davantage.
La latence constitue une autre partie importante de l’évaluation. Les auteurs rapportent que le pire time to first token observé avec FreeToken reste inférieur à 44 secondes dans toutes les cellules testées, alors que chaque baseline dépasse 150 secondes dans au moins un cas. Cette différence compte pour les logiciels agentiques, car un prefill très lent peut cesser d’être un simple problème de performance et devenir un problème de timeout ou de fiabilité. L’article présente explicitement la tail latency comme une frontière de disponibilité pour les clients réels.
Les résultats cross-hardware sont ce qui rend FreeToken particulièrement intéressant pour l’IA locale. Les auteurs annoncent qu’un modèle 35B atteint 39,3 tokens par seconde sur un ordinateur portable équipé d’une RTX 4060 avec 8 Go de VRAM. Sur un desktop gaming doté d’une RTX 5090 avec 32 Go, le système sert interactivement DeepSeek-V4-Flash, un modèle de 284 milliards de paramètres. Sur une station de travail disposant d’une seule RTX PRO 6000 de 96 Go, il sert GLM-5.2, 753 milliards de paramètres, à 14,9 tokens par seconde, soit environ deux fois le throughput que l’article attribue à llama.cpp sur le même niveau de matériel.
Ces chiffres doivent toutefois être interprétés comme des résultats de recherche, et non comme des benchmarks indépendants définitivement établis. L’évaluation est produite par les auteurs de FreeToken, et l’article précise que certains moteurs concurrents ne peuvent pas servir tous les modèles ou tous les workloads multi-turn de la matrice. Cette limitation est pertinente pour la deployability, mais elle signifie également que chaque comparaison n’est pas une course parfaitement symétrique entre configurations bénéficiant du même niveau de support. Une reproduction indépendante sur davantage de machines grand public, de systèmes d’exploitation et de versions de modèles sera nécessaire avant de considérer les gains annoncés comme des garanties générales de performance.
Même avec cette réserve, FreeToken représente une évolution significative du systems engineering pour l’IA locale. Les modèles open-weight ont rendu accessibles les paramètres de modèles frontier-scale, mais l’accès pratique reste limité par la capacité mémoire, la bande passante et le logiciel de serving. Un runtime capable de coordonner CPU, GPU, mémoire hôte et bande passante d’interconnexion dans un même pool de ressources peut modifier l’économie de l’expérimentation pour les développeurs et les petites équipes, surtout pour les workloads qui nécessiteraient autrement des coûts élevés d’inférence hébergée ou des GPU serveurs dédiés.
Le projet est également immédiatement inspectable et ne se limite pas à une description académique. Le dépôt GitHub de FreeToken est publié sous licence Apache 2.0, fournit de la documentation d’installation et de modèles, et expose un CLI ainsi qu’un serveur API compatible. La prochaine étape est donc facile à définir : vérifier si des développeurs externes peuvent reproduire les performances annoncées et si le runtime reste stable sous la pression mémoire irrégulière et les longues sessions agentiques typiques de vraies machines personnelles.
## Sources
Publié: