PRX se construyó sobre una tubería de datos pensada para amplitud y flexibilidad: mezclar fuentes publicas e internas, recapitular imágenes con un VLM y combinar Lance y Mosaic Data Shards para crear un corpus streamable. Aquí explicamos las decisiones clave y aprendizajes prácticos.
EMO es un modelo Mixture-of-Experts preentrenado end-to-end que logra que la modularidad emerja directamente de los datos. Permite usar únicamente el 12.5% de los expertos para una tarea dada y mantener desempeño cercano al modelo completo.
Granite 4.1 es una familia de modelos decoder‑only (3B, 8B, 30B) entrenada en ~15T tokens, con fine‑tuning supervisado y RL para mejorar instrucciones, código y razonamiento. Destaca la extensión de contexto a 512K tokens y la publicación bajo Apache 2.0.