NVIDIA en AI4Bharat zeggen Nemotron-pretraining-Indic-v1 binnenkort uit te brengen, met ongeveer 2,8 biljoen tokens voor 22 Indiase talen. Het corpus bevat tekst in de oorspronkelijke schriften van alle talen en geromaniseerde tekst voor twaalf talen, samen 34 taal-schriftcombinaties. Ook komt de open, GPU-versnelde pijplijn beschikbaar waarmee ontwikkelaars vertalingen kunnen maken, de kwaliteit beoordelen en zwakke resultaten herstellen.
De gegevens zijn samengesteld uit Engelstalige web-, vraag-en-antwoord-, wiskunde- en codebronnen. Volgens de makers bevat elk record herleidbare broninformatie en worden onder meer formules, tabellen en code gecontroleerd. NVIDIA meldt daarnaast dat 10 miljard Indiase tokens zijn gebruikt bij verdere training van Nemotron 3.5 Super VL; scores op vijf genoemde benchmarks stegen daarbij met 4,98 tot 9,82 procentpunt. Die vergelijking betreft een volledige trainingsfase met synthetische en natuurlijke data en meet niet afzonderlijk het effect van dit corpus.
