A NVIDIA colocou no Hugging Face e no ModelScope um novo modelo de fala de pesos abertos que pretende substituir vários programas distintos por um único checkpoint. O Nemotron 3.5 Transcribe, divulgado a 28 de outubro, recebe áudio gravado e, conforme a instrução escrita em linguagem corrente, devolve uma transcrição, uma tradução, um texto com a indicação de quem fala ou a resposta a uma pergunta sobre a gravação. Em paralelo, a empresa publicou o Granary v2, o pipeline de curadoria e os manifestos públicos que estão por trás de parte dos dados de treino.
Segundo a ficha do modelo, a transcrição abrange 40 línguas, a tradução de e para inglês cobre 31 delas e a atribuição de oradores funciona em 13. Cada ficheiro pode durar até uma hora e o sistema distingue até oito vozes. Na arquitetura, um codificador de fala alimenta um modelo de linguagem híbrido Mamba e Transformer do tipo mistura de especialistas, com perto de 30 mil milhões de parâmetros no total e apenas cerca de 4 mil milhões ativos por token. Há versões BF16, FP8 e NVFP4, distribuídas sob a licença OpenMDW-1.1, que segundo a ficha admite uso comercial e não comercial.
A grande aposta está nas instruções. É possível pedir texto literal ou limpo, solicitar uma tradução ou fornecer uma lista curta de termos esperados, como nomes de medicamentos numa consulta, indicando que só devem ser usados quando o áudio os confirma. A resposta a perguntas sobre o áudio foi treinada apenas em inglês, e a própria NVIDIA aconselha verificar nomes, mudanças de orador e respostas contra a gravação original. O modelo trabalha com ficheiros e não com emissões em direto, limitação que o TechCrunch apontou como a principal desvantagem.
A NVIDIA acompanha o lançamento com uma longa série de resultados em tabelas comparativas, todos medidos pela própria empresa. Afirma que o modelo lidera entre os de pesos abertos na vertente inglesa do Open ASR Leaderboard do Hugging Face, com 5,33% de taxa média de erro por palavra, que empata em primeiro lugar entre os modelos abertos no índice AA-WER da Artificial Analysis, com 2,8%, e que obtém a menor taxa de erro de diarização, 18,26%, entre 14 sistemas no teste da David AI em 21 línguas. A ficha acrescenta que parte dos dados de treino foi licenciada à David AI, embora garanta que o conjunto de avaliação ficou de fora.
As promessas de hardware seguem a mesma lógica. A NVIDIA garante que basta uma GPU, desde o módulo Jetson AGX Thor e o DGX Spark até às placas Blackwell para centros de dados, e que uma RTX PRO 6000 Blackwell Server Edition em NVFP4 processa 100 horas de excertos de 30 segundos em menos de três minutos, com muitos pedidos em simultâneo. O checkpoint pode ser servido com vLLM, corrido localmente através do NeMo-Speech.cpp ou usado em versões alojadas pela Baseten, DeepInfra e Simplismart.
O Granary v2 destina-se a quem precisa de adaptar o modelo. Construído com o NeMo Curator, o pipeline segmenta o áudio, encaminha cada língua para reconhecedores principais e de reserva, gera várias formas escritas de cada transcrição e elimina excertos ruidosos ou com vozes sobrepostas. O manifesto público descreve 463 062 horas em 48 línguas, retiradas de 16 corpora, contra 25 línguas na primeira versão. O áudio original não vem incluído e tem de ser obtido à parte, ao abrigo da licença de cada corpus.
Para mostrar o ganho da adaptação, a NVIDIA apresentou um estudo de caso médico sobre o conjunto de gravações de médicos e estudantes indianos da Eka Care. Com oradores que não entraram na afinação, o ajuste fino baixou a taxa de erro de 22,44%, com a melhor instrução, para 12,17%, uma redução relativa de 45,8%, ao fim de cerca de 14 horas de GPU numa única GB300. Em inglês genérico houve um ligeiro recuo: no LibriSpeech test-clean o erro subiu de 1,54% para 1,69%.
O lançamento chega num mês cheio de novidades na voz. O TechCrunch lembrou que a Mistral lançou o Voxtral 3 no início de outubro e que a ElevenLabs e a Salesforce também apresentaram modelos de voz. O Nemotron 3.5 Transcribe junta-se aos modelos Parakeet, mais pequenos, da NVIDIA. Resta saber se a liderança nas tabelas resiste a testes externos, já que todos os números conhecidos vêm dos materiais da própria empresa.