Cuando 4 bits superan a 16: la receta de Quantization-Aware Healing

Resumen

Reducir el tamaño de grandes modelos de lenguaje suele implicar pérdida de capacidad: se recortan capas, cabezas o neuronas y luego se cuantizan los pesos a 4 bits para ahorrar memoria y cómputo. Tradicionalmente, tras estos pasos se aplica una fase de “healing” (recuperación) para mitigar el daño. Quantization-Aware Healing (QAH) replantea esa etapa: en lugar de curvarse al checkpoint recuperado en precisión completa, disciplina al modelo cuantizado mediante distilación desde el modelo original y a plena precisión. El resultado puede ser sorprendente: aplicado a un GPT-OSS 120B comprimido a 60B y cuantizado a MXFP4, el modelo QAH superó a su propia versión bfloat16 en 7 de 9 benchmarks.

El problema con las recetas habituales

Las cadenas de optimización más comunes siguen tres pasos: 1) compresión estructural (menos parámetros), 2) cuantización a bajo bitwidth, y 3) healing para recuperar capacidades. La diferencia entre métodos radica en cómo se hace ese tercer paso. Las dos aproximaciones dominantes son:

• Quantization-Aware Training (QAT): insertar operadores de cuantización “fake” en el forward y continuar el ajuste fino con la pérdida de tarea. Esto obliga a re‑ejecutar procesos costosos (fine-tuning supervisado, RLHF, agentic tuning) bajo ruido de baja precisión. Es costoso y puede volverse inestable si el entrenamiento se prolonga.

• Quantization-Aware Distillation (QAD): destilar desde un profesor en full-precision hacia el estudiante ya cuantizado usando KL sobre logits. Funciona bien cuando solo hubo cuantización porque existe una contraparte full‑precision del mismo modelo.

El problema surge cuando, además de cuantizar, la arquitectura ya fue estructuralmente comprimida: la versión de menor tamaño no tiene una versión full‑precision independiente entrenada. El único checkpoint bfloat16 disponible suele ser ya una aproximación distilada o recuperada, y destilar desde él ancla al estudiante a un objetivo degradado que limita su techo de rendimiento.

Qué hace diferente Quantization-Aware Healing (QAH)

QAH rompe esa limitación con una idea simple pero potente: destilar el modelo cuantizado directamente desde el modelo original, previo a la compresión. En otras palabras, el profesor es la red grande y en full‑precision; el estudiante es la versión más pequeña y cuantizada a MXFP4. No comparten arquitectura, pero eso no impide la transferencia porque la distilación opera sobre distribuciones de salida (logits) que son agnósticas al diseño interno.

Básicamente, QAH convierte la etapa de cuantización en una segunda pasada de distilación contra el profesor original. La versión bfloat16 recuperada nunca fue supervisada con esta señal, por lo que el estudiante de 4 bits no solo corrige errores por cuantización: aprende información adicional que la etapa de recuperación anterior no pudo transferir.

Detalles técnicos clave

• Supervisión por KL en logits: QAH usa KL‑divergence para empatar la distribución del estudiante con la del profesor, evitando que el estudiante vea etiquetas duras.
• Estabilidad de entrenamiento: la distilación con KL ancla al estudiante a una distribución fija; una vez alcanzada, no hay presión para desviarse. Esto contrasta con pérdidas de tarea (cross‑entropy) que siguen empujando hacia etiquetas duras y pueden generar inestabilidad si se entrena de más.
• Contextos largos: para manejar secuencias hasta 32k tokens en el corpus de healing, QAH reutiliza un loss de KL fragmentado (chunked) que calcula la divergencia por trozos de la secuencia sin materializar una matriz vocabulario×secuencia completa, permitiendo que el proceso quepa en memoria GPU limitada.

Resultados (ejemplos)

Los autores aplicaron QAH a un GPT-OSS 120B comprimido a 60B y luego cuantizado a MXFP4 con la técnica propuesta. La comparación natural es contra el checkpoint 60B en bfloat16, es decir, la mejor versión full‑precision de esa arquitectura. El modelo QAH obtuvo mejores resultados en 7 de 9 benchmarks evaluados.

Como ejemplos de resultados presentados: en AA‑LCR (razonamiento de largo contexto) el profesor 120B en MXFP4 alcanzó 50.0, la versión 60B bfloat16 recuperada quedó en 35.3 y el 60B MXFP4 con QAH llegó a 42.7; en AIME 2025 (matemáticas) el profesor marcó 80.0, la 60B bfloat16 70.7 y el QAH consiguió 76.3. Estos números ilustran que la versión cuantizada y distilada contra el modelo original reduce la brecha con el profesor grande y supera a la réplica bfloat16 del mismo tamaño.

Por qué importa para América Latina

En la región, las restricciones de presupuesto, disponibilidad de infraestructura y necesidades de latencia hacen que modelos más compactos y eficientes sean especialmente valiosos. QAH ofrece ventajas concretas:

• Menor costo de inferencia: modelos en 4 bits consumen menos memoria y cómputo, reduciendo gasto en nubes públicas y permitiendo despliegues en hardware más económico.
• Mejor desempeño por tamaño: un modelo comprimido y cuantizado que además supere a su versión bfloat16 cambia la ecuación costo-beneficio para empresas y gobiernos latinoamericanos que deben balancear precisión y presupuesto.
• Contextos largos reales: aplicaciones de cumplimiento legal, analítica de documentos, y atención a clientes en español frecuentemente requieren contextos extensos; la compatibilidad de QAH con 32k tokens es relevante.

Para startups y equipos de I+D en la región, QAH puede ser una vía para ofrecer capacidades avanzadas (razonamiento, matemática, generación de código) sin necesitar la infraestructura completa de modelos de 120B a máxima precisión.

Límites y consideraciones prácticas

QAH requiere acceso al modelo original a plena precisión para generar las señales del profesor; en escenarios donde ese checkpoint no está disponible, la técnica no es aplicable. Además, aunque mejora estabilidad respecto a algunas pérdidas, todavía hay costos computacionales asociados a generar logits del profesor y a la distilación en sí. Finalmente, la técnica fue demostrada en un caso concreto (GPT‑OSS 120B → 60B), y la generalización a otras arquitecturas o grados de compresión debe evaluarse caso por caso.

Conclusión

Quantization-Aware Healing propone un cambio conceptual: tratar la cuantización no como un ajuste final, sino como una oportunidad adicional de distilación desde el modelo original. El resultado es que una versión comprimida y cuantizada en 4 bits puede ser más pequeña, más barata y en algunos casos incluso más precisa que la réplica full‑precision del mismo tamaño. Para equipos en América Latina que buscan desplegar LLMs eficientes, QAH es una aproximación interesante que vale la pena explorar en pruebas piloto con sus propios modelos y restricciones de infraestructura.