NVIDIA a mis en ligne sur Hugging Face et ModelScope un nouveau modèle vocal à poids ouverts qui entend remplacer plusieurs outils spécialisés par un seul checkpoint. Présenté le 28 octobre, Nemotron 3.5 Transcribe prend un enregistrement audio et, selon la consigne rédigée en langage courant, produit une transcription, une traduction, un texte indiquant qui parle ou la réponse à une question sur le contenu. En parallèle, l'entreprise publie Granary v2, la chaîne de curation et les manifestes publics à l'origine d'une partie des données d'entraînement.
D'après la fiche du modèle, la transcription couvre 40 langues, la traduction vers ou depuis l'anglais en concerne 31 et l'attribution des locuteurs fonctionne dans 13. Un fichier peut atteindre une heure et le système sépare jusqu'à huit voix. Côté architecture, un encodeur de parole alimente un modèle de langage hybride Mamba et Transformer à mélange d'experts, d'environ 30 milliards de paramètres au total, dont près de 4 milliards actifs pour chaque token. Les versions BF16, FP8 et NVFP4 sont proposées sous licence OpenMDW-1.1, laquelle autorise selon la fiche un usage commercial comme non commercial.
Tout repose sur les consignes. On peut demander un texte brut ou nettoyé, réclamer une traduction ou fournir une courte liste de termes attendus, des noms de médicaments lors d'une consultation par exemple, en précisant de ne les employer que si l'audio les confirme. Les questions-réponses sur l'audio n'ont été entraînées qu'en anglais, et NVIDIA recommande elle-même de vérifier noms, changements de locuteur et réponses par rapport à l'enregistrement. Le modèle traite des fichiers et non des flux en direct, limite que TechCrunch présente comme son principal défaut.
NVIDIA accompagne la sortie d'une longue série de classements, tous mesurés par ses soins. Le groupe affirme que son modèle arrive en tête des modèles ouverts sur le volet anglais de l'Open ASR Leaderboard de Hugging Face, avec 5,33 % de taux d'erreur moyen par mot, qu'il partage la première place des modèles ouverts dans l'indice AA-WER d'Artificial Analysis avec 2,8 %, et qu'il obtient le plus faible taux d'erreur de diarisation, 18,26 %, parmi 14 systèmes sur le test de David AI en 21 langues. La fiche précise qu'une partie des données d'entraînement a été acquise sous licence auprès de David AI, tout en assurant que le jeu d'évaluation en a été exclu.
Les promesses matérielles suivent la même logique. Selon NVIDIA, un seul GPU suffit, du module Jetson AGX Thor et du DGX Spark jusqu'aux cartes Blackwell pour centres de données, et une RTX PRO 6000 Blackwell Server Edition en NVFP4 traite 100 heures d'extraits de 30 secondes en moins de trois minutes avec de nombreuses requêtes simultanées. Le checkpoint peut être servi avec vLLM, exécuté en local via NeMo-Speech.cpp ou appelé dans des versions hébergées chez Baseten, DeepInfra et Simplismart.
Granary v2 s'adresse aux équipes qui doivent adapter le modèle. Bâtie avec NeMo Curator, la chaîne découpe l'audio, oriente chaque langue vers des reconnaisseurs principaux et de secours, génère plusieurs formes écrites de chaque transcription et écarte les extraits bruités ou à voix superposées. Son manifeste public recense 463 062 heures dans 48 langues issues de 16 corpus, contre 25 langues pour la première version. L'audio source n'est pas fourni : il faut le récupérer séparément, sous la licence propre à chaque corpus.
Pour illustrer l'intérêt de l'adaptation, NVIDIA a mené une étude de cas médicale sur le corpus d'Eka Care, composé d'enregistrements de médecins et d'étudiants indiens. Sur des locuteurs exclus du réglage, l'affinage a ramené le taux d'erreur de 22,44 % avec la meilleure consigne à 12,17 %, soit une baisse relative de 45,8 %, pour environ 14 heures de calcul sur un seul GB300. La précision en anglais courant recule légèrement : sur LibriSpeech test-clean, l'erreur passe de 1,54 % à 1,69 %.
Cette sortie intervient lors d'un mois chargé pour l'IA vocale. TechCrunch rappelle que Mistral a lancé Voxtral 3 début octobre et qu'ElevenLabs comme Salesforce ont eux aussi dévoilé des modèles vocaux. Nemotron 3.5 Transcribe rejoint les modèles Parakeet, plus compacts, de NVIDIA. Reste à savoir si son avance dans les classements résistera aux tests indépendants, puisque tous les chiffres disponibles proviennent pour l'instant des documents du constructeur.