Cuando 4 bits superan a 16: la receta de Quantization-Aware Healing
Un nuevo método llamado Quantization-Aware Healing (QAH) distila directamente desde el modelo original antes de la compresión, logrando que una versión comprimida a 60B y cuantizada a 4 bits supere a su equivalente en bfloat16 en 7 de 9 benchmarks. Esto cambia cómo pensamos el rol de la cuantización en pipelines de eficiencia.