Cómo la auto-distilación de razonamiento ayuda a personalizar modelos Nova sin perder capacidades

Resumen ejecutivo

La personalización de grandes modelos mediante Supervised Fine-Tuning (SFT) es una vía directa para adaptar capacidades a dominios específicos. Sin embargo, cuando el conjunto de entrenamiento no incluye trazas de razonamiento (chain-of-thought, CoT), el SFT puede suprimir la capacidad de razonamiento del modelo, degradando habilidades generales importantes. Self-Distilled Reasoning (SDR) propone reutilizar las trazas de razonamiento generadas por el propio modelo base (en este caso Amazon Nova 2 Lite) como tokens de entrenamiento adicionales. Esto ofrece regularización en tiempo de entrenamiento, evita la necesidad de un modelo maestro o anotación humana y logra retener —o incluso mejorar— el desempeño objetivo sin sacrificar rendimiento general.

El problema: supresión del razonamiento durante SFT

Cuando entrenan un modelo en datasets que contienen solo pares entrada-salida, los pasos intermedios de razonamiento no están supervisados. Si el objetivo de entrenamiento calcula pérdida sobre secuencias que incluyen tanto tokens de razonamiento como tokens de salida, la ausencia de trazas intermedias hace que el modelo reciba una señal que esencialmente penaliza generar razonamientos. En la práctica, esto enseña al modelo a «saltar» su mecanismo de pensamiento y apoyarse en atajos que conectan directamente entradas con salidas.

Este fenómeno, denominado razonamiento suprimido, es especialmente preocupante con familias de modelos como Amazon Nova 2, donde la capacidad de generar trazas de razonamiento ha mostrado mejoras significativas en tareas difíciles (p. ej., matemáticas y codificación). En experimentos reportados, SFT sin razonamiento puede reducir dramáticamente el desempeño en tareas de matemáticas: un caso encontró que el rendimiento pasó del 70% (modelo base) a 6% tras SFT sin trazas (Tabla 2). Es decir, la personalización puede lograr ganancias en la tarea objetivo pero a costa de perder capacidades previas críticas.

¿Qué es Self-Distilled Reasoning (SDR)?

SDR es una estrategia sencilla y práctica: durante SFT, se generan y añaden al dataset las trazas de razonamiento provenientes del propio modelo base (Amazon Nova 2 Lite). Estas trazas actúan como pseudorazonamientos «dorados» que guían al modelo durante el entrenamiento, sin requerir un modelo maestro externo ni anotación humana. En otras palabras, el modelo se distila a sí mismo incorporando sus propias cadenas de pensamiento como señales de supervisión adicionales.

Ventajas clave de SDR:

• No requiere anotación humana adicional.
• No depende de un teacher externo o de interpolaciones post-hoc.
• Es aplicable a datasets SFT existentes en cualquier dominio.
• Proporciona regularización en tiempo de entrenamiento que ayuda a conservar habilidades generales del modelo base.

Resultados y comparaciones prácticas

Los experimentos reportados comparan tres enfoques: SFT estándar sin razonamiento, SFT con model merging (fusionar el checkpoint SFT con el modelo base) y SFT con SDR. Algunas observaciones destacadas:

• SDR logra mantener la mayoría del rendimiento general del modelo base mientras entrega desempeño objetivo similar o mejor que SFT puro sin merging.
• En pruebas concretas, SDR permitió recuperar la pérdida en tareas de matemáticas que se produjo con SFT puro; en el caso citado, se recuperó casi por completo el rendimiento perdido.
• Frente al enfoque de model merging, SDR preserva mejor tanto el desempeño objetivo como las habilidades generales. Por ejemplo, la auto-distilación alcanzó un desempeño en matemáticas casi idéntico al del modelo base (70% frente a 68%) mientras mejoraba el rendimiento objetivo en promedio por más de 6.5%.

Además, los autores muestran cómo la activación del modo razonamiento tanto en entrenamiento como en inferencia trae beneficios importantes para el desempeño objetivo. En una tabla con el dataset LLaVA CoT y distintos pesos de merging LoRA, se observa que configurar razonamiento activo durante entrenamiento e inferencia puede aumentar de forma notable la precisión objetivo según el grado de fusión empleado.

Por qué SDR funciona: intuición técnica

El éxito de SDR se explica por dos mecanismos complementarios:

1. Señal de supervisión para el razonamiento: al añadir trazas de pensamiento, el modelo recibe una señal directa sobre cómo generar razonamientos coherentes que conduzcan a la respuesta final, evitando que la función de pérdida lo entrene a omitir esos pasos.
2. Regularización en entrenamiento: las trazas autocontenidas actúan como un ancla que limita el sobreajuste al dataset SFT objetivo, mitigando el olvido catastrófico de habilidades previas.

En contraste, el model merging recupera capacidades al combinar pesos del checkpoint SFT con el modelo base, pero a menudo con una compensación: se pierden algunas ganancias obtenidas por la personalización o no se preservan de forma óptima todas las habilidades.

Recomendaciones prácticas para equipos en América Latina

Si su organización está evaluando personalizaciones de modelos tipo Nova para productos locales (atención al cliente, finanzas, salud, educación, etc.), considere lo siguiente:

• Antes de SFT, verifique si su dataset incluye trazas de razonamiento. Si no las tiene, valdrá la pena implementar SDR en lugar de entrenar solo con pares entrada-salida.
• Active coherentemente el modo razonamiento durante entrenamiento e inferencia para evitar discrepancias de comportamiento.
• Use SDR como una forma económica de enriquecer datasets sin recurrir a anotación humana, especialmente útil en proyectos con presupuesto limitado o con datos sensibles que no pueden salir de la organización.
• Monitoree métricas de la tarea objetivo y también benchmarks generales (por ejemplo, pruebas de matemáticas u otras habilidades relevantes) para detectar olvido catastrófico.
• Considere model merging solo si necesita una solución rápida para recuperar capacidades, pero tenga en cuenta que puede renunciar a parte de la mejora específica del SFT.

Límites y consideraciones

SDR es una técnica prometedora, pero no reemplaza la validación cuidadosa: las trazas generadas por el propio modelo pueden contener sesgos o errores, por lo que es importante evaluar el desempeño en conjuntos de validación externos y, cuando sea posible, incluir revisión humana en casos críticos. Además, los resultados dependen de la calidad del modelo base; SDR reutiliza lo que el modelo ya sabe, por lo que no crea capacidades nuevas donde antes no existían.

Conclusión

Self-Distilled Reasoning es una alternativa práctica para aprovechar las capacidades de razonamiento de modelos como Amazon Nova 2 al personalizarlos con SFT, sin requerir anotación humana ni un teacher externo. Al introducir trazas de razonamiento generadas por el propio modelo base, SDR regula el entrenamiento, mitiga el olvido catastrófico y conserva habilidades generales mientras mantiene o mejora el desempeño en la tarea objetivo. Para equipos y tomadores de decisión en América Latina, SDR ofrece una ruta costo-efectiva y aplicable a dominios locales para personalizar modelos de manera responsable y eficiente.