Des chercheurs NVIDIA avec AI4Bharat a l'IIT Madras ont publie le 16 octobre 2026 sur le blog Hugging Face la description de Nemotron-pretraining-Indic-v1, un corpus ouvert de preentrainement d'environ 2,8 billions de tokens couvrant les 22 langues de la Constitution indienne. L'annonce couple le corpus a un pipeline GPU ouvert sur NeMo Data Designer pour que d'autres equipes reproduisent ou adaptent la recette.
Le corpus melange des donnees en ecriture native pour les 22 langues et du texte romanise pour douze d'entre elles, soit 34 configurations langue-ecriture. Les auteurs rapportent environ 2 601 milliards de tokens natifs et 224,6 milliards romanises avec un tokenizer Gemma-4. Le materiau part de sous-ensembles anglais Nemotron-CC-v2 puis passe par traduction documentaire, notation de qualite et reparation ciblee.
Pour douze langues le flux utilise Gemma-4-31B-it et une grille inspiree de MQM, en gardant les sorties a 75/100 ou plus et en recuperant les cas faibles via reparation guidee. La romanisation est une seconde etape depuis le texte natif accepte. Pour les dix autres langues l'equipe adapte Indic Translate de Bodhan AI, avec fenetrage documentaire et remappage d'ecriture au besoin.
Le billet relie le corpus au continued pretraining de Nemotron 3.5 Super VL, ou une etape de 100 milliards de tokens a reserve 10 pour cent a un melange Indic synthetique et naturel et a rapporte des gains sur MILU, Indic MMLU-Pro, Indic ARC et Indic GSM8K. Ces gains sont de stade et du melange combine, pas une ablation isolee du pool 2,8T.
L'ouverture est le coeur editorial. NVIDIA et AI4Bharat indiquent qu'ils publieront configurations, fiche dataset, licence, exemples de streaming et le plugin Nemotron Bharat pour inspecter des echantillons et regenerer des donnees. Des materiaux compagnons incluent un rapport technique et Indic-LLM-Eval-Suite.
Les limites sont explicites: le synthetique traduit ne remplace pas l'Indic naturellement ecrit, les juges automatiques ratent des erreurs, et la dedupe par ID source n'est pas semantique. Les equipes doivent combiner le corpus avec du texte naturel et suivre la retention des capacites anglaises.
Cette histoire est distincte de l'annonce modele Nemotron 3.5 Super VL deja presente dans les news publiees. L'evenement central est le jeu de donnees et le pipeline Indic ouverts, pas un nouveau checkpoint.