Cómo se diseñó la estrategia de datos detrás de PRX

Introducción

Esta es la cuarta entrega de la serie sobre PRX. Mientras las partes previas trataron arquitecturas de modelo, diseño de entrenamiento y una velocidad de 24 horas, aquí abrimos la caja negra que pocas veces recibe atención: los datos. La calidad del modelo depende tanto de la arquitectura como de la tubería de datos, y en PRX muchas de las decisiones esenciales fueron relativamente poco glamorosas pero críticas.

En una frase: PRX se entrenó con un corpus ensamblado a partir de datasets públicos e internos, las imágenes fueron recaptadas (re-captioned) con un VLM y todo se convirtió en un corpus streamable para entrenamiento.

Principios guía: amplitud antes que perfección

El objetivo central en la etapa de pre-entrenamiento fue cubrir la mayor cantidad de conceptos visuales posibles. En esta fase el modelo aprende cómo se ve el mundo: objetos, escenas, composición y luz. Eso es un problema de cobertura y diversidad, no de perfección por imagen.

Un corpus amplio y representativo enseña más sobre la estructura visual que un conjunto pequeño y estéticamente impecable. Filtrar en exceso por calidad estética puede estrechar la distribución y privar al modelo de variedad compositiva que no se recupera fácilmente en etapas posteriores. La pulitura de la apariencia final corresponde a etapas de fine-tuning y alineamiento de preferencias en conjuntos pequeños y muy curados. En síntesis: pre-entrenamiento para amplitud, fine-tuning para gusto.

Mezcla de fuentes: aprovechar curaciones existentes

PRX se alimentó de una mezcla de datasets públicos e internos. La prioridad fue diversidad y construir sobre trabajos de curación ya realizados en lugar de rehacerlos. Algunas fuentes aportaron imágenes, otras metadata y captions base; el equipo llevó todo a una forma común.

Esta aproximación pragmática permite armar rápidamente un corpus adecuado para pre-entrenar un modelo de 7B parámetros. No es necesariamente el mejor dataset imaginable, pero sí un punto de partida sólido y ligero para esa escala.

Filosofía de captions: descripciones largas y fieles

Una lección práctica fue que para pre-entrenamiento funcionan mejor captions largas y precisas. En pruebas previas, pasar de captions cortas a largas mejoró sustancialmente la calidad de las muestras generadas.

Cuando la caption describe fielmente la imagen —incluyendo capturas de pantalla, anuncios, logos o texto presente— esos elementos dejan de ser “ruido” y se vuelven atributos condicionables. El modelo aprende a reproducirlos sólo cuando se le solicita explícitamente. Por eso el filtrado posterior es deliberadamente ligero: se elimina lo verdaderamente inutilizable, no todo lo imperfecto.

Además, PRX re-captionó imágenes usando un VLM para homogeneizar y mejorar la fidelidad de las descripciones antes del entrenamiento.

Formatos y herramientas: Lance para construir, MDS para stream

Para el entrenamiento distribuido se utilizó Mosaic Streaming y Mosaic Data Shards (MDS). En combinación con Mosaic Composer, MDS ofreció un framework de bajo mantenimiento y buen rendimiento para entrenar a escala, con la ventaja de permitir mezclar y barajar datasets y entrenar directamente desde object storage como S3 o GCS.

Sin embargo, MDS es rígido: añadir una columna o crear un subconjunto suele requerir escanear y reescribir todo el dataset. Para la ingeniería de características y curación se empleó Lance, un formato columnar con predicate pushdown barato, índices escalares y búsqueda por vectores. Lance es más adecuado para construir y explorar datasets con miles de millones de filas.

En la práctica, Lance y MDS se complementaron: Lance para construir y explorar, MDS para streaming eficiente durante el entrenamiento.

Latentes de texto: cálculo en línea con Qwen3-VL

En entrenamientos previos se pre-computaban los latentes de texto usando T5Gemma y se almacenaban en MDS como bytes. En el ciclo con PRX se cambió el encoder de texto a Qwen3-VL y se decidió calcular los latentes en línea durante el entrenamiento.

Ejecutar el encoder de texto dentro del loop de entrenamiento tiene un costo en throughput, pero su impacto depende del tamaño del modelo. En PRX (7B) el costo fue marginal: aproximadamente 3–4% de throughput adicional —lo que representó cerca de un día extra en una corrida de 30 días.

Ese pequeño coste trae dos ventajas importantes: evita almacenar terabytes de latentes precomputados (permitiendo que los shards en MDS sean más pequeños) y ofrece libertad para cambiar el encoder de texto sin tener que reescribir enormes volúmenes de datos. El equipo incluso pudo almacenar el conjunto completo de pre-entrenamiento en el filesystem compartido con SSD del cluster SLURM en vez de depender exclusivamente de streaming desde object storage.

Codificación de imágenes: JPEG a calidad 92

Las imágenes se codificaron como JPEG con calidad 92 en vez de usar formatos lossless como PNG. Esta decisión fue respaldada por mediciones: muchas imágenes del mundo real ya han pasado por compresión JPEG, por lo que una re-codificación a calidad 92 resulta, en el primer ciclo, esencialmente imperceptible. Los ciclos adicionales de decode/encode aportan cambios mínimos en imágenes de distintas resoluciones reales.

Elegir JPEG92 permitió ahorrar espacio y mantener la calidad práctica necesaria para pre-entrenamiento sin incurrir en los costes de almacenamiento de formatos sin pérdida.

Lecciones prácticas y recomendaciones para equipos en América Latina

• Prioricen la diversidad y cobertura: si su objetivo es pre-entrenamiento, no sacrifiquen variedad por estética. En contextos latinoamericanos esto es clave para captar la riqueza visual regional.
• Aprovechen curaciones existentes: usar datasets públicos y capitalizar filtros ya aplicados acelera el trabajo y reduce esfuerzo duplicado.
• Usen Lance para explorar y MDS para producción: la combinación facilita iteración rápida y streaming eficiente durante entrenamiento.
• Evalúen calcular latentes en línea si su modelo es suficientemente grande: el pequeño coste de throughput puede compensar por la flexibilidad operativa y el ahorro de espacio en disco.
• Hagan pruebas empíricas sobre compresión de imágenes: JPEG a calidad 92 puede ser una buena opción práctica, pero siempre validen con muestras representativas de sus fuentes.
• Considere la infraestructura disponible: si cuentan con clusters SLURM y almacenamiento SSD compartido, pueden alojar shards localmente; si dependen de nubes públicas, planifiquen streaming desde S3/GCS.

Conclusión

La estrategia de datos detrás de PRX es un ejemplo pragmático: priorizar amplitud y diversidad, recapturar captions con un VLM para convertir “ruido” en atributos controlables, y combinar herramientas —Lance para construcción y MDS para streaming— para mantener tanto flexibilidad como eficiencia operativa. Para equipos de investigación y empresas en América Latina estas decisiones ofrecen un mapa útil: enfocarse en cobertura, reutilizar curaciones existentes y elegir formatos y flujos de trabajo que permitan iterar sin reescribir terabytes de datos cada vez que se ajusta un componente del pipeline.