Faire tourner un modèle ouvert sur un PC Windows relevait jusqu'ici du bricolage : trouver le bon binaire de llama.cpp, dénicher une version quantifiée adaptée, puis lancer un serveur avec les bons paramètres. Hugging Face veut rendre l'exercice banal. Le 13 octobre, l'entreprise a dévoilé Llama Windows, une application gratuite et libre installée dans la zone de notification de Windows 11, qui prend en charge ces étapes sans passer par la ligne de commande.
Il s'agit du pendant Windows de Llama for Mac, l'outil de barre de menus proposé sur llama.app. Le code est disponible sur GitHub, dans le dépôt ggml-org/Llama-Windows, sous licence MIT. D'après le README, l'application est un portage en WinUI 3 de la version Mac, livré sous forme de paquet signé pour les machines x64 et ARM64. Hugging Face précise qu'aucun droit administrateur n'est nécessaire pour l'installer.
Un clic sur l'icône du lama ouvre un petit panneau. La rubrique des modèles recommandés affiche des versions quantifiées de modèles ouverts populaires du Hub, chacune accompagnée de son nombre de paramètres, de sa taille sur disque et de sa capacité à traiter des images, ce qui permet de vérifier la compatibilité avec sa machine avant tout téléchargement. Une autre rubrique liste les modèles déjà présents, permet de les charger ou de les décharger, puis ouvre l'interface web de llama.cpp pour discuter. Le raccourci Alt+Space fait surgir une fenêtre de conversation au-dessus de n'importe quel logiciel.
En coulisses, Llama Windows se connecte à un serveur llama.cpp déjà actif ou démarre et pilote le sien. Si llama.cpp manque, l'application le récupère avec l'installateur officiel. Le serveur écoute sur le port 9931 de localhost et expose une API compatible avec celle d'OpenAI : scripts, éditeurs de code et agents de programmation conçus pour cette interface peuvent donc être redirigés vers des modèles locaux. Les fichiers sont rangés dans le cache standard de Hugging Face, partagé avec llama.cpp et les autres outils maison, et un jeton d'accès peut être ajouté pour les dépôts privés ou soumis à autorisation.
Le matériel fait partie de l'argumentaire. L'application fonctionne nativement sous Windows on Arm, et Hugging Face indique avoir travaillé avec NVIDIA pour qu'elle soit prête dès le lancement de RTX Spark, la nouvelle plateforme de NVIDIA dédiée à l'IA locale sur PC. Selon le billet, llama.cpp exploiterait pleinement la puissance de calcul et la mémoire de ces machines sans réglage manuel, une affirmation qu'aucun test indépendant n'a encore vérifiée.
Autre atout mis en avant, la confidentialité. Le README affirme que l'application n'envoie aucune télémétrie et que requêtes comme inférence restent sur l'ordinateur ; les seules connexions sortantes concernent le téléchargement des modèles, la recherche de mises à jour et les appels au serveur local. Pour les développeurs et les entreprises qui veulent tester des modèles ouverts sur des données sensibles sans recourir à une API dans le cloud, l'argument pèse.
Quelques nuances s'imposent toutefois. Le dépôt a été créé en juin et publie des versions depuis août, la dernière étant la v0.12.0 du 10 octobre : l'annonce officialise donc un projet déjà mené au grand jour plutôt qu'un logiciel inédit. Seul Windows 11 est pris en charge, la qualité des réponses dépend du modèle retenu et le billet ne dit rien des performances sur un portable ordinaire dépourvu de RTX Spark.