Decodificación especulativa: cómo acelerar LLMs hasta 3x sin perder calidad

Introducción

Como profesionales y tomadores de decisión en América Latina saben bien, la latencia y el costo operativo son factores críticos al desplegar aplicaciones basadas en grandes modelos de lenguaje (LLMs). Google Research y DeepMind propusieron una técnica llamada decodificación especulativa (speculative decoding) que permite acelerar la generación de texto —reportando mejoras de hasta 3x en ciertas configuraciones— sin degradar la calidad del resultado. En este artículo explico la idea, cómo funciona paso a paso, sus escenarios límite y consideraciones prácticas para implementarla en la región.

¿Qué ocurre en la generación tradicional?

En el flujo estándar de un LLM autoregresivo hay dos fases: la pasada hacia adelante (forward pass) y la decodificación. Durante la pasada hacia adelante el modelo procesa el prefijo (el texto ya generado o la entrada) y calcula una distribución de probabilidad sobre el siguiente token. En la decodificación se selecciona un token (por ejemplo, con greedy o sampling) y se agrega al prefijo, lo que obliga a realizar otra pasada completa por el modelo para producir el siguiente token.

El resultado: cada token nuevo requiere una ejecución completa del modelo. Con modelos grandes esto se traduce en latencias acumuladas significativas: generar 100 tokens implica 100 pasadas por el modelo, lo que encarece y ralentiza la inferencia.

Idea central de la decodificación especulativa

La decodificación especulativa introduce dos modelos en la tubería: un modelo objetivo grande (Mq) y un modelo borrador más pequeño y rápido (Mp), habitualmente obtenido mediante distilación. El borrador propone secuencias cortas de tokens rápidamente; el modelo objetivo las verifica en bloque. Si el modelo grande confirma los tokens propuestos, se aceptan; si no, se reemplazan usando el modelo grande.

En términos prácticos el flujo es:

• Draft (borrador): Mp genera K tokens de forma rápida.
• Verify (verificar): Mq procesa en una sola pasada el prefijo junto con los K tokens propuestos y calcula probabilidades para cada posición.
• Accept/Reject (aceptar/rechazar): se decide qué tokens aceptar y cuáles reemplazar mediante muestreo de rechazo.

La clave es que verificar K tokens en bloque suele costar similar a una pasada normal por el modelo, por lo que si el borrador acierta en buena parte de los tokens, se reduce drásticamente el número de pasadas completas necesarias.

Un ejemplo intuitivo (K = 5)

Imaginemos un prefijo: “Me encanta visitar las playas de…”. El borrador (Mp) genera cinco tokens propuestos: “Cartagena, Punta, del, Este, y”. Para cada token Mp asigna una probabilidad de confianza. Luego, el modelo objetivo (Mq) procesa el prefijo junto con esos cinco tokens en una sola pasada y produce su propia distribución de probabilidades para cada posición.

Con ese resultado se aplica un criterio de aceptación: los tokens que el modelo objetivo considera suficientemente probables se mantienen; los demás se eliminan y se recurre al muestreo directo del modelo grande para reemplazarlos. Así, en vez de ejecutar el modelo grande cinco veces (una por token), lo ejecutamos una vez para verificar cinco candidaturas.

¿Por qué funciona y cuándo es rentable?

La técnica aprovecha dos hechos prácticos:

1. Muchos tokens son previsibles (conectores, palabras comunes, nombres frecuentes) y un modelo pequeño suele acertar en la mayoría de esos casos.
2. Verificar una secuencia entera en el modelo grande tiene un costo similar a generar un solo token de forma tradicional.

Por esto, cuando el borrador propone correctamente una fracción elevada de tokens, el número promedio de pasadas por el modelo grande baja, con ahorro de latencia y costo.

Peor y mejor escenario

• Peor escenario: si el borrador propone tokens que casi siempre son rechazados por el modelo grande, la técnica añade sobrecarga (ejecución del borrador + rechazo + generación por el grande), por lo que puede salir más lenta que el método convencional.

• Mejor escenario: si la mayoría de tokens propuestos por Mp son aceptados por Mq, se reduce notablemente la cantidad de pasadas por el modelo grande y se puede alcanzar una aceleración de hasta 3x en configuraciones reportadas por los autores.

La realidad suele estar entre ambos extremos y depende de la calidad del borrador, la naturaleza del texto y el tamaño de K.

Consideraciones técnicas importantes

• Selección del borrador: conviene usar un modelo distilado o especializado para el dominio que sea más barato de ejecutar pero que mantenga alta precisión en tokens comunes del dominio.
• Tamaño de K: elegir cuántos tokens proponer en cada borrador es un trade-off. K demasiado pequeño reduce las ganancias; K demasiado grande aumenta la probabilidad de rechazo y desperdicio de cómputo.
• Rechazo y reemplazo: la verificación generalmente usa un esquema tipo muestreo de rechazo donde las probabilidades del borrador y del modelo objetivo se comparan para decidir aceptación.

Enfoques prácticos de implementación

Existen variaciones en cómo aplicar la idea en sistemas reales:

• Borrador con K fijo: generar bloques de tamaño K y verificar en lote. Es sencillo y fácil de paralelizar.
• Borrador adaptativo: ajustar K dinámicamente según la confianza del borrador o el historial de aceptación para maximizar throughput.

En ambos casos es crucial monitorizar métricas de calidad (perplejidad, tasa de rechazo, errores de contenido) para no degradar la experiencia del usuario.

Relevancia para América Latina

En nuestra región los proyectos con LLMs enfrentan constraints particulares: presupuestos de infraestructura, costos de nube, y latencias en enlaces internacionales. La decodificación especulativa ofrece una palanca para reducir costos de inferencia y mejorar la velocidad en aplicaciones de atención al cliente, generación de contenidos y asistentes virtuales. Implementada correctamente puede permitir ofrecer respuestas más rápidas y a menor costo, sin sacrificar precisión en dominios críticos como financiero, legal o salud.

Conclusión

La decodificación especulativa es una estrategia efectiva para acelerar la inferencia de LLMs: utiliza un modelo pequeño para proponer tokens y un modelo grande para verificarlos en bloque. Bien calibrada, reduce latencia y costos sin degradar la calidad del texto —en algunos reportes, alcanzando aceleraciones de hasta 3x. Para equipos en América Latina representa una alternativa práctica para optimizar despliegues de modelos grandes, siempre evaluando cuidadosamente el balance entre velocidad, calidad y costo.

Preguntas frecuentes rápidas

• ¿Necesito cambiar mi modelo grande? No necesariamente; la técnica añade un modelo borrador paralelo y un flujo de verificación.
• ¿Es segura para texto sensible? Sí, mientras el modelo objetivo verifique y reemplace tokens potencialmente erróneos.
• ¿Dónde probarla? Empiecen por casos de uso con lenguaje repetitivo o predecible (resúmenes, respuestas a FAQs) y monitoricen la tasa de aceptación.