North Mini Code: el modelo MoE de Cohere optimizado para agentes de programación

Qué es North Mini Code

North Mini Code es el primer modelo de la nueva familia de Cohere diseñado explícitamente para tareas de ingeniería de software agentic. Se trata de un modelo sparse Mixture-of-Experts (MoE) con 30 mil millones de parámetros totales y 3 mil millones de parámetros activos por token. Cohere lo publica en Hugging Face bajo la licencia Apache 2.0, lo que facilita su adopción y experimentación en proyectos abiertos y comerciales.

Rendimiento en tareas de código y agentes

Cohere posiciona North Mini Code como una alternativa competitiva entre los modelos open-source para generación de código y tareas agentic. En el Artificial Analysis’ Coding Index alcanza 33.4, superando a modelos de tamaño similar como Qwen3.5 (35B-A3B), Gemma 4 (26B-A4B) y Devstral Small 2 (24B Dense), e incluso a modelos mucho mayores como Nemotron 3 Super (120B-A12B), Mistral Small 4 (119B-A6B) y Devstral 2 (123B).

Además de rendir bien en métricas de generación, North Mini Code fue entrenado y evaluado pensando en la robustez al integrarse en diferentes agentes y harnesses: la idea es que no dependa de un único entorno de ejecución o interfaz, sino que sea utilizable por agentes terminales como OpenCode y otros agentes de código reales.

Arquitectura esencial

North Mini Code es un Transformer decodificador con arquitectura Mixture-of-Experts que combina atención eficiente y bloques feed-forward sparsos:

• Atención intercalada: se usa una implementación eficiente que alterna entre atención de ventana deslizante con RoPE y atención global sin embeddings posicionales en una proporción 3:1.
• Bloque FFN MoE: el bloque feed-forward es un MoE con 128 expertos, de los cuales 8 se activan por token. Cada experto es un bloque FFN con activación SwiGLU.
• Enrutador: aplica una función sigmoide a los logits antes de seleccionar top-k expertos.
• Capa densa previa: hay una capa densa única antes de las capas esparsas.

Esta combinación busca equilibrar eficiencia y capacidad para manejar contextos largos y operaciones agentic complejas.

Proceso de post-entrenamiento: SFT en dos etapas y RL con recompensas verificables

El pipeline de post-entrenamiento de North Mini Code se compone de dos fases de fine-tuning supervisado (SFT) y una fase final de reinforcement learning con recompensas verificables (RLVR) orientada a tareas de ingeniería de software y terminales agentic.

• Primera etapa SFT: la mezcla de datos enfatiza capacidades de programación dentro de una mezcla amplia para robustez y usabilidad. En este primer paso, los conjuntos de código representan el 70% de los tokens entrenables; además, el 43% corresponde a datos de uso de herramientas agentic y un 27% a datos de programación competitiva o científica en interacción de un solo turno.

• Segunda etapa SFT: se utiliza una mezcla de 4.5 mil millones de tokens compuesta exclusivamente por muestras agentic y orientadas al razonamiento, donde el código forma el 61% de los tokens entrenables. Esta etapa contiene las muestras de mayor calidad, con llamadas a herramientas y completaciones verificadas como ejecutables y correctas.

• RL con recompensas verificables (RLVR): tras las dos etapas de SFT, el modelo pasa por un entrenamiento agentic con recompensas verificables para alinear comportamiento hacia la ejecución correcta en entornos de software y terminal.

Cohere enfatiza que usó un enfoque “long-to-longer”: primeras pasadas con contextos de 64K y la segunda etapa con 128K, lo que permite aprovechar datos más cortos y diversos para establecer una base sólida y después especializar en muestras long-form verificadas.

Datos, entornos y verificación

La pipeline hace amplio uso de entornos containerizados agentic para generar datos sintéticos de SFT y para RLVR. En total se usaron más de 70,000 tareas verificables extraídas de aproximadamente 5,000 repositorios distintos. Los entornos combinan tareas de ingeniería de software reales y tareas terminales agentic provenientes de datasets open-source e internos.

Para evitar fugas de información en evaluación, Cohere deduplicó estos entornos frente a las fuentes de SWE-Bench y SWE-Bench-Pro. También aplicaron filtrado a nivel de muestra para eliminar pathologías —como llamadas a herramientas inválidas, tokens especiales malformados o generación de espacios errónea— y realizaron ablations para eliminar artefactos que afectaran negativamente el comportamiento en RLVR.

Resultados de la SFT y robustez en harnesses

El modelo final después de SFT alcanzó 80.2% pass@10 en SWE-Bench Verified y 55.1% pass@10 en Terminal-Bench v2, métricas que reflejan desempeño en tareas verificadas y en entornos terminales respectivamente.

Un punto clave del desarrollo fue no optimizar exclusivamente para un solo harness o interfaz: entrenar el modelo con múltiples scaffolds y entornos apunta a que North Mini Code sea una base confiable para agentes diversos, mejorando la usabilidad en entornos de desarrollo realistas donde las herramientas y la modalidad de uso varían.

Qué significa esto para equipos y empresas en América Latina

North Mini Code llega como una alternativa open-source con licencia permisiva (Apache 2.0) que facilita su evaluación e integración en pilas locales, laboratorios de innovación y proyectos productivos. Su diseño orientado a agentes terminales y la atención a la verificación ejecutable lo hacen atractivo para equipos que quieren desplegar asistentes de desarrollo automatizados, CI/CD inteligentes o agentes que interactúen directamente con entornos de shell y repositorios.

Para tomadores de decisión, las ventajas principales son:

• Licencia abierta que facilita pruebas y adaptaciones.
• Enfoque en robustez entre harnesses, útil si su infraestructura incluye herramientas heterogéneas.
• Capacidad para contextos largos (hasta 128K) y verificación de ejecuciones, relevante en tareas reales de ingeniería.

Conclusión

North Mini Code representa un avance interesante en la familia de modelos diseñados para tareas de ingeniería de software agentic: combina una arquitectura MoE eficiente, entrenamiento en fases con datos verificables y un objetivo explícito de robustez entre harnesses. Para organizaciones en América Latina que exploran automatización en desarrollo de software y agentes devops, ofrece una opción abierta y orientada a la ejecución verificable que merece evaluación práctica.

Si desean probarlo, Cohere lo ha puesto disponible en Hugging Face bajo Apache 2.0, lo que facilita comenzar experimentos y pruebas en entornos locales y de nube.