Google a mis TorchTPU en ligne sur GitHub sous licence libre. L'annonce a eu lieu le mardi 20 octobre 2026 à la PyTorch Conference, dans un billet de Mark Lohmeyer et Bill Jia sur le blog de Google Cloud. Il s'agit d'une pile PyTorch native pour les Tensor Processing Units, les accélérateurs maison que Google utilise pour ses propres modèles Gemini. L'objectif : que les TPU se comportent comme n'importe quel autre périphérique PyTorch, aux côtés des GPU et des CPU.
Ce n'était pas le cas jusqu'ici. Comme l'explique Hugging Face dans son propre billet, les utilisateurs de PyTorch sur TPU devaient passer par PyTorch/XLA, avec des tenseurs à exécution différée et des recompilations de graphe imprévues, ou bien basculer vers JAX. TorchTPU fonctionne en mode immédiat pour le débogage et s'appuie sur torch.compile pour les performances en production. Selon Google, il a été conçu avec l'équipe d'ingénierie PyTorch de Meta, et Jana van Greunen, chez Meta, affirme qu'il permet d'exécuter sur TPU des charges de grands modèles de langage, de publicité et de recommandation.
Le lancement s'accompagne de nombreuses intégrations. Dans Transformers v5 de Hugging Face, il suffit d'indiquer "tpu" dans device_map pour placer un modèle sur une TPU, et Diffusers gère le mode immédiat, la compilation et le parallélisme de tenseurs. Hugging Face précise que sa bibliothèque Optimum TPU n'est plus nécessaire pour ces outils. Côté inférence, Google a développé un backend vLLM avec Inferact et un backend SGLang avec RadixArk, tous deux reliés à llm-d, le projet d'inférence distribuée passé en version 1.0 le même jour.
Pour l'entraînement, TorchTitan propose des recettes pour des modèles denses comme Llama 3 et Qwen 3, des modèles à mélange d'experts et des transformeurs de diffusion. Google indique que l'entraînement TorchTitan sur TorchTPU a atteint jusqu'à 52 % d'utilisation des FLOPs sur Qwen 3 8B, avec une montée en charge quasi linéaire jusqu'à 8 192 TPU Ironwood. Un backend TPU pour le cadre d'apprentissage par renforcement VeRL est en préversion, et Ray peut désormais répartir les étapes d'un pipeline entre CPU, GPU et TPU. Google annonce aussi que LiteRT, son moteur embarqué anciennement nommé TensorFlow Lite, rejoint l'écosystème PyTorch grâce au convertisseur litert-torch, et ouvre en préversion une suite d'agents dédiée à la migration et au réglage sur TPU.
L'enjeu économique est la domination logicielle de Nvidia. TechCrunch rappelle que la plupart des applications d'IA sont écrites par défaut pour les GPU Nvidia, et qu'Amazon a publié la veille un backend comparable pour ses puces Trainium, TorchNeuron. En permettant de porter du code PyTorch existant vers les TPU sans réécriture lourde, Google facilite l'essai de son matériel cloud sans renoncer aux outils habituels.
Plusieurs points restent à éclaircir. Les chiffres d'utilisation et de montée en charge viennent de Google et n'ont pas été reproduits de façon indépendante, et les partenaires cités sont des collaborateurs commerciaux. Google n'a pas publié de tableau complet de compatibilité des opérateurs PyTorch, et on ignore à quelle vitesse les noyaux CUDA personnalisés de nombreuses équipes pourront être remplacés. L'ouverture du code abaisse la barrière au changement, mais c'est le coût par jeton sur des charges réelles qui décidera de l'adoption.