NVIDIA a discrètement rendu public un nouveau serveur d'inférence locale. Le dépôt NVIDIA/flare-local-inference est apparu sur GitHub le 20 octobre 2026 sous licence Apache 2.0 ; il présente Flare comme un serveur destiné aux GPU NVIDIA SM120 et SM121, la gamme qui regroupe les cartes pour stations de travail RTX PRO Blackwell et la puce GB10 du DGX Spark. L'objectif affiché est de tirer davantage de la mémoire, de la bande passante et de la puissance de calcul des machines de bureau pour les longues conversations, les agents de programmation et les appels d'outils répétés, sans sacrifier la réactivité. NVIDIA le qualifie de prototype de recherche, ouvert pour favoriser la collaboration technique et recueillir de premiers retours.
L'architecture sépare le travail en deux temps. Un outil de préparation baptisé Ignition s'appuie sur PyTorch, Transformers et des noyaux FlashInfer pour charger un modèle, régler les noyaux de calcul, compiler la passe avant et capturer des graphes CUDA dans un paquet d'exécution. Un moteur en Rust nommé Helios sert ensuite ce paquet sans aucune installation de Python. Compilation et capture de graphes sont terminées avant la mise en service, et les tampons comme les capacités sont planifiés à l'avance. Le projet traite en outre l'état complet d'une conversation, y compris l'état récurrent à côté du cache clés-valeurs, comme un tout, afin que la réutilisation, la bifurcation ou la reprise d'une session le préservent.
Flare ne prétend pas tout faire tourner. Sa documentation recense des recettes de modèles parmi lesquelles Nemotron 3.5 Bolt, Qwen3.8 27B et Qwen3.8 Flash, DeepSeek V4 Flash et V4.1 Flash, MiMo V2.6 Pro, Step-5 Preview et Kimi K3. Chaque recette stocke par défaut le cache clés-valeurs en FP8. Les modèles trop gros pour un seul DGX Spark peuvent fonctionner en parallélisme de tenseurs sur deux ou quatre Spark reliés par leurs ports ConnectX-7, une machine produisant le paquet et une commande de coordination lançant chaque nœud.
Le README se montre lucide sur son positionnement. Il reconnaît que vLLM couvre un éventail bien plus large de modèles, de matériels et de modes de déploiement, et décrit Flare comme une option spécialisée qui renonce à l'étendue au profit d'un contrat de service resserré autour de modèles choisis et d'usages locaux. Ce que l'on peut exécuter dépend des recettes prises en charge et des capacités préparées à l'avance. Sur le DGX Spark, où GPU et processeur partagent la même mémoire, le guide demande de construire les paquets sur la machine elle-même et de réserver de la mémoire pour le système d'exploitation.
Il n'y a pas eu d'annonce officielle. Un message publié le 20 octobre sur le forum des développeurs NVIDIA relevait que le dépôt était arrivé sans annonce et avec moins de dix étoiles, et les premiers utilisateurs y ont ensuite partagé leurs propres mesures de débit. Des analyses indépendantes d'explainx.ai et de Tokenstead ont résumé l'architecture le jour même. Au 22 octobre, le dépôt comptait environ 560 étoiles, aucune version étiquetée et aucun chiffre de performance dans son README.
Cette publication compte, car NVIDIA présente le DGX Spark et les machines RTX PRO Blackwell comme le foyer d'agents d'IA privés et locaux, alors que la plupart de leurs utilisateurs s'appuient sur des moteurs communautaires comme llama.cpp ou sur des serveurs généralistes comme vLLM. Un moteur maison conçu pour les sessions d'agents, dominées par les longs contextes et les appels d'outils répétés, offre une option supplémentaire à ces propriétaires et montre comment NVIDIA envisage l'inférence locale au service des agents.
D'importantes lacunes demeurent. NVIDIA n'a publié aucun banc d'essai, le projet est ouvertement un prototype susceptible d'évoluer vite, il ne fonctionne que sous Linux sur du matériel SM120 et SM121, et le README ne fournit pas de commandes d'installation, renvoyant plutôt à des documents distincts de conception et de préparation.