Cómo mejorar salidas estructuradas de un modelo 350M en 100 pasos

Resumen

Este artículo adapta una guía práctica y abierta para mejorar la capacidad de un modelo pequeño de producir salidas estructuradas válidas. Usando LFM2.5-350M y Group Relative Policy Optimization (GRPO) con la librería TRL, se logra una mejora notable en el cumplimiento de esquemas del benchmark IFStruct tras solo ~500 ejemplos y 100 pasos de entrenamiento. El flujo completo es lo bastante ligero como para ejecutarlo en una GPU de nivel gratuito en Colab o Kaggle y el código está disponible públicamente en GitHub.

Por qué importa la conformidad de esquema

En escenarios productivos lo que decide si un modelo puede integrarse a un sistema no es tanto su ‘razonamiento’ general sino si devuelve una salida válida y parseable según el formato pedido. Cumplir el esquema solicitado —por ejemplo JSON o YAML con campos y tipos correctos— evita errores downstream, reduce la intervención humana y facilita automatizaciones en pipelines de extracción, ingestión y reporting.

A pesar de su importancia práctica, muchos benchmarks mezclan esta evaluación con tareas de razonamiento más amplias. IFStruct se enfoca específicamente en medir si las salidas de los LLM son válidas y conformes a la estructura solicitada, lo que lo convierte en una herramienta útil para quienes buscan desplegar modelos en producción.

Evaluación base en IFStruct

Antes del fine-tuning, se evaluó LFM2.5-350M en IFStruct usando una instancia local servida con llama.cpp y el formato BF16 GGUF (LiquidAI/LFM2.5-350M-GGUF). En una corrida de 2000 muestras, el modelo base alcanzó 22.6% de outputs válidos en el benchmark. Para referencia, la publicación original de IFStruct reportaba 21.1% para este mismo modelo bajo otra configuración; la diferencia está dentro de lo esperado dadas las variaciones de entorno y serving.

El análisis por formato mostró que JSON y YAML tenían tasas de éxito distintas, y que errores comunes incluían campos requeridos faltantes, conteo incorrecto de items y desajustes de tipo. Estos tipos de fallas son críticos en integraciones reales: un campo faltante puede romper un proceso automático o introducir sesgos si se imputan valores por defecto.

Qué se hizo: datos y procedimiento de fine-tuning

La receta usa el dataset nvidia/Nemotron-RL-instruction_following-structured_outputs como fuente de pares prompt–esquema. En total se emplearon aproximadamente 500 muestras para entrenar con GRPO via la librería TRL. Dos modificaciones a los datos ayudaron a cerrar la brecha con IFStruct:

• Al 40% de los prompts se les añadió la instrucción de devolver la salida dentro de un bloque de código, enseñando al modelo a seguir explícitamente indicaciones de formato en lugar de emitir JSON crudo siempre.
• Un 20% de las muestras se transformaron en tareas cuyo resultado debía ser un arreglo en el nivel superior, para exponer al modelo a esta estructura común en IFStruct.

El objetivo no es replicar exactamente el pipeline de RL usado en la publicación de IFStruct, sino demostrar que un ajuste específico de la tarea en modelos de menor tamaño puede mejorar la conformidad estructural y acercarse al rendimiento de modelos mucho mayores.

Técnica usada: GRPO y TRL

Group Relative Policy Optimization (GRPO) es la técnica de optimización usada para este ajuste focalizado. GRPO permite adaptar la política del modelo —en este caso su generación de tokens— en función de recompensas relacionadas con la validez estructural. La implementación se apoyó en TRL, una librería orientada a entrenamiento de modelos de lenguaje con técnicas de refuerzo y ajustes finos controlados.

La ventaja práctica es que GRPO, combinado con una señal de recompensa que penaliza salidas no conformes y premia salidas parseables y con conteo de campos correcto, puede dirigir el modelo hacia patrones de salida más útiles en producción sin requerir enormes cantidades de datos o pasos de entrenamiento.

Resultados

Tras 100 pasos de entrenamiento y el uso de ~500 muestras, el modelo afinado subió su rendimiento en IFStruct de 22.6% a 29.7% de salidas válidas. Este incremento, logrado con una inversión de cómputo muy pequeña, demuestra que mejoras apreciables en tareas concretas de formato pueden obtenerse con recursos limitados.

El experimento destaca que tareas como la validación de esquema pueden beneficiarse más de ajustes específicos que de aumentos indiscriminados de tamaño del modelo, especialmente cuando el objetivo es robustez y facilidad de integración.

Requisitos y ejecución práctica

El flujo propuesto se divide en dos partes: fine-tuning y evaluación. El fine-tuning necesita GPU y la receta cabe en GPUs gratuitas de Colab o Kaggle. La evaluación puede realizarse en hardware local relativamente modesto: en el experimento se utilizó llama.cpp para servir el modelo en una Mac con un chip Apple y 36 GB de memoria unificada, exponiendo un servidor compatible con la API de OpenAI para que el evaluador de IFStruct lo consulte.

Estas opciones hacen la receta accesible para equipos en Latinoamérica que a menudo enfrentan restricciones presupuestarias o acceso limitado a infraestructura de alto costo, permitiendo experimentar con modelos propios sin depender exclusivamente de APIs comerciales.

Implicaciones para equipos y empresas en Latinoamérica

Para organizaciones de la región que buscan automatizar procesos (por ejemplo, extracción de datos de formularios, generación de respuestas estandarizadas o pipelines de ingestión), esta guía muestra una vía de bajo costo para elevar la confiabilidad de salidas estructuradas. Algunas consideraciones prácticas:

• Priorizar la conformidad de esquema reduce el costo de integración y mantenimiento.
• Fine-tuning compacto permite mantener modelos locales o en edge computing, útil para requisitos de privacidad y latencia.
• Ajustes de datos (instrucciones de formato, ejemplos de lista superior) suelen ser tan importantes como la técnica de entrenamiento.

Conclusión

La receta presentada demuestra que, con una inversión pequeña en datos y pasos de entrenamiento, es posible mejorar de forma significativa la capacidad de un modelo pequeño para generar salidas estructuradas válidas. Para equipos en Latinoamérica que buscan soluciones prácticas, esta aproximación ofrece un equilibrio atractivo entre costo, rendimiento y control operacional. El cuaderno y el código asociados están disponibles en GitHub para quienes quieran reproducir o adaptar el flujo a casos específicos.