Investigadores da NVIDIA com a AI4Bharat do IIT Madras publicaram a 16 de outubro de 2026 no blog Hugging Face a descricao do Nemotron-pretraining-Indic-v1, um corpus aberto de pretreino com cerca de 2,8 trilhoes de tokens nas 22 linguas da Constituicao da India. O anuncio junta o corpus a um pipeline GPU aberto baseado em NeMo Data Designer para outras equipas reproduzirem ou adaptarem a receita.
O corpus mistura dados em escrita nativa para as 22 linguas com texto romanizado para doze delas, totalizando 34 configuracoes lingua-escrita. Os autores reportam cerca de 2.601 mil milhoes de tokens nativos e 224,6 mil milhoes romanizados com o tokenizer Gemma-4. O material parte de subconjuntos ingleses Nemotron-CC-v2 e passa por traducao ao nivel do documento, pontuacao de qualidade e reparacao dirigida.
Para doze linguas o fluxo usa Gemma-4-31B-it na traducao e uma rubrica inspirada em MQM, retendo saidas com pontuacao igual ou superior a 75 em 100 e recuperando casos fracos com reparacao guiada. A romanizacao e um segundo passo a partir do texto nativo aceite. Para as restantes dez linguas a equipa adapta o Indic Translate da Bodhan AI, com janelas de documento e remapeamento de escrita quando necessario.
O texto liga o corpus ao continued pretraining do Nemotron 3.5 Super VL, em que uma etapa de 100 mil milhoes de tokens reservou 10 por cento a uma mistura Indic sintetica e natural e reportou ganhos em MILU, Indic MMLU-Pro, Indic ARC e Indic GSM8K. Esses ganhos sao de etapa e da mistura combinada, nao uma ablacao isolada do pool completo de 2,8T.
A abertura e o nucleo editorial. NVIDIA e AI4Bharat dizem que publicarao configuracoes, cartao do dataset, licenca, exemplos de streaming e o plugin Nemotron Bharat para inspcao de amostras e regeneracao. Materiais companheiros incluem um relatorio tecnico e o esforco Indic-LLM-Eval-Suite.
As limitacoes sao claras: texto sintetico traduzido nao substitui escrita Indic natural, juizes automaticos falham, e a deduplicacao por ID de fonte nao e semantica. As equipas devem combinar o corpus com texto natural e acompanhar a retencao de capacidade em ingles.
Esta historia e distinta do anuncio previo do modelo Nemotron 3.5 Super VL ja nas noticias publicadas. O evento central e o dados e o pipeline Indic abertos, nao um novo checkpoint de modelo.