2.8 billones de tokens y un pipeline abierto para preentrenar modelos en 22 lenguas indias

Introducción

NVIDIA y AI4Bharat (IIT Madras) anuncian Nemotron-pretraining-Indic-v1, un corpus de entrenamiento masivo para lenguas indias que suma aproximadamente 2.8 billones de tokens y se publica junto con la canalización de generación de datos acelerada por GPU utilizada para crearlo. El paquete combina datos en escritura nativa y versiones romanizadas, y viene con la receta completa de generación: prompts, flujos de trabajo con grandes modelos de lenguaje y controles de calidad. El objetivo es que equipos e investigadores puedan reproducir, adaptar y ampliar la colección según sus necesidades.

Para el ecosistema de modelos en lenguas de baja cobertura, este tipo de recursos abre posibilidades prácticas: mejorar comprensión técnica, resolver problemas con ejemplos y preservar contenido estructurado como ecuaciones, tablas y fragmentos de código en lenguas locales.

Qué contiene el corpus

El corpus retenido reporta dos grandes componentes tokenizados con el modelo Gemma-4:

• 2,601.0 billones de tokens en escritura nativa
• 224.6 billones de tokens en versión romanizada

En total, aproximadamente 2.8 billones de tokens distribuidos entre las 22 lenguas reconocidas en la Constitución india. La colección incluye tanto traducciones documentales completas como variantes de script y registros que permiten reconstruir la relación entre cada salida y su documento fuente.

Las 22 lenguas están agrupadas así:

• Dual-script (texto en escritura nativa y también romanizado): Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Tamil, Telugu y Urdu.
• Native-script únicamente: Assamese, Bodo, Dogri, Kashmiri, Konkani, Maithili, Manipuri, Sanskrit, Santali y Sindhi.

Es importante entender la diferencia entre “native-script” y “romanized”: la primera indica que el texto está en el sistema de escritura propio de la lengua; romanized refiere al mismo idioma escrito en alfabeto latino. Ambos formatos aportan exposiciones distintas al modelo y deben tratarse con cuidado al diseñar mezclas de entrenamiento.

Cómo se generó la data

La generación parte de documentos en inglés extraídos de 15 subconjuntos de Nemotron-CC-v2, que abarcan texto web, material de preguntas y respuestas, matemáticas, código y contenido especializado. Para transformar esos documentos en datos Indic se empleó NeMo Data Designer, el marco open source de NVIDIA para generar datos sintéticos.

El flujo general utilizado incluye:

1. Traducción de documentos completos para conservar contexto entre párrafos, tablas y ecuaciones.
2. Evaluación de calidad de las traducciones mediante modelos y métricas automatizadas.
3. Reparos focalizados en salidas de baja puntuación para corregir errores específicos sin perder fidelidad al documento original.
4. Conversión de un subconjunto de traducciones a script latinizado en las lenguas dual-script.

Cada registro conserva el identificador del documento fuente, lo que permite trazabilidad total y auditoría. Esa trazabilidad es clave para garantizar que los textos sintéticos se mantengan anclados en información verificada y reproducible.

Además, el conjunto integra material curado en inglés —matemáticas, código y QA— trasladado a las lenguas locales con controles pensados para preservar la estructura y el significado técnico.

Pipeline abierto y reutilizable

La publicación no es solo del corpus: se entrega la canalización de generación acelerada por GPU que incluye prompts, workflows LLM y los pasos de evaluación y reparación. Con esto se ofrecen tres ventajas principales para la comunidad:

• Reproducibilidad: otros equipos pueden replicar la generación exacta y verificar resultados gracias a la trazabilidad.
• Adaptabilidad: los prompts y las comprobaciones pueden modificarse para distintos conjuntos de documentos o para requisitos de calidad propios.
• Escalabilidad: la aceleración por GPU permite generar grandes volúmenes de datos de forma eficiente, reduciendo el coste computacional para experimentos a gran escala.

Para un desarrollador o equipo en Latinoamérica esto es relevante: un pipeline abierto y documentado sirve de plantilla para crear datos sintéticos en lenguas menos atendidas de la región, aplicando estrategias similares de traducción documental, evaluación y reparación.

Integración con modelos Nemotron y resultados iniciales

Nemotron 3.5 Super VL incorporó 10.000 millones de tokens Indic adicionales, tomados de un subconjunto de doce lenguas de este corpus junto con texto Indic natural. El reporte técnico del modelo documenta este proceso y las decisiones de diseño. Además, los autores planean continuar usando y ampliando este corpus en futuras versiones de Nemotron.

Impacto y usos esperados

Este recurso amplía significativamente la base abierta de datos sintéticos para lenguas indias, lo que tendrá efectos prácticos:

• Mejora del preentrenamiento de modelos capaces de explicar conceptos técnicos y resolver problemas en lenguas locales.
• Mayor disponibilidad de texto técnico traducido (matemáticas, código, QA) para entrenar modelos de asistencia técnica y educativa.
• Un punto de partida para equipos académicos y empresas que quieran diseñar mezclas de entrenamiento específicas para tareas en lenguas indicadas.

Los datos sintéticos no reemplazan al texto natural: los autores subrayan que el contenido creado complementa el material naturalmente escrito en las lenguas, que sigue siendo esencial para capturar conocimiento local y matices culturales.

Consideraciones para desarrolladores y responsables de decisión

Si su equipo quiere aprovechar este corpus o el pipeline abierto, conviene tener en cuenta:

• Tokenizador y contaje: los números de tokens dependen del tokenizador usado (aquí Gemma-4), por lo que la contabilidad de tokens en una fase de entrenamiento puede variar.
• Mezclas de entrenamiento: tratar por separado los registros en native-script y romanized para controlar la exposición del modelo a scripts y formas de escritura.
• Preservación de estructura: revisar y adaptar las comprobaciones que garantizan la conservación de ecuaciones, tablas y código, especialmente si se trabaja con material técnico local.
• Trazabilidad y auditoría: aprovechar los identificadores de origen para controlar calidad y verificar el origen de las afirmaciones generadas por los modelos.

Para América Latina, el ejemplo muestra cómo una colaboración entre laboratorio académico y la industria, con publicación abierta de datos y pipelines, puede acelerar avances en lenguas con poca representación. Equipos locales pueden replicar la metodología para lenguas indígenas o variantes regionales donde el dato es escaso.

Disponibilidad y próximos pasos

El corpus Nemotron-pretraining-Indic-v1 y la canalización de generación se liberarán públicamente. La intención explícita de los autores es que la comunidad no solo use el material sino que también mejore y extienda el proceso: adaptar prompts, incorporar fuentes propias y generar más datos para fortalecer modelos en lenguas indias. Los desarrolladores interesados deberían revisar el reporte técnico de Nemotron para detalles sobre la integración de tokens Indic en Nemotron 3.5 Super VL y planear pruebas de mezcla y validación antes de desplegar modelos en producción.

En resumen, se trata de un paso significativo hacia la reducción de la brecha de datos entre inglés y las lenguas indias, y de un ejemplo reproducible para equipos que trabajan con lenguas de baja cobertura en otras regiones.