DiffusionGemma: el enfoque de Google para generar texto más rápido con difusión

Introducción

Los modelos de lenguaje grandes (LLMs) suelen producir texto token por token en un proceso autoregresivo. Si bien ese enfoque ofrece alta calidad y buen seguimiento de instrucciones, no siempre es eficiente para usuarios locales con una sola GPU: muchas veces la limitación es el movimiento de pesos en memoria, no el cómputo paralelo. DiffusionGemma, la propuesta experimental de Google DeepMind, explora un camino distinto: generar y refinar bloques de tokens en paralelo usando un esquema inspirado en difusión.

En este artículo explico qué es DiffusionGemma, por qué Google desarrolló un modelo de difusión para texto, cómo difiere de los LLMs autoregresivos, su arquitectura básica, y qué implicaciones tiene para implementaciones locales y casos de uso relevantes en América Latina.

¿Qué es DiffusionGemma?

DiffusionGemma es un modelo de código abierto experimental de Google DeepMind basado en la familia Gemma 4 —concretamente sobre la base Gemma 4 26B A4B Mixture-of-Experts (MoE). Tiene 25.2 mil millones de parámetros en total y durante la inferencia activa alrededor de 3.8 mil millones de parámetros.

A diferencia de los modelos que generan texto de forma secuencial (un token tras otro), DiffusionGemma trabaja sobre un “canvas” o lienzo de tokens —por defecto de 256 tokens— que se inicializa con valores aleatorios y se refina iterativamente. En vez de comportarse como una máquina de escribir, actúa como un sistema de borrador que mejora posiciones inciertas hasta que la respuesta converge.

¿Por qué Google apostó por difusión para texto?

La mayoría de los LLMs productivos actuales son autoregresivos y se desempeñan muy bien en calidad y razonamiento. Sin embargo, desde la perspectiva de latencia para un solo usuario local, el enfoque secuencial genera un cuello de botella: la GPU no puede beneficiarse de un alto paralelismo cuando solo se atiende una sola sesión.

DiffusionGemma replantea la pregunta: ¿y si el cómputo paralelo se aplicara a un bloque de texto para un único usuario en lugar de distribuirse entre muchos usuarios? Al refinar un canvas de 256 tokens en paralelo, el modelo puede ofrecer una experiencia más inmediata en escenarios de baja concurrencia, donde la latencia percibida es crítica.

Esto lo hace particularmente interesante para casos como:

• Edición inline y revisión de texto.
• Iteración rápida en interfaces interactivas.
• Asistentes locales (edge) donde el batching no es viable.
• Infilling de código y generación no lineal.
• Producción de salidas estructuradas y llenado de plantillas.

Es importante subrayar que DiffusionGemma no pretende reemplazar por completo a los Gemma 4 autoregresivos; es un modelo experimental orientado a velocidad y responsividad en flujos de trabajo específicos.

Autoregresivos vs DiffusionGemma: una comparación práctica

Algunas diferencias clave entre ambos enfoques:

• Estilo de generación: los autoregresivos generan un token a la vez; DiffusionGemma refina un bloque entero en paralelo.
• Direccionalidad: los autoregresivos suelen usar atención causal (izquierda a derecha); DiffusionGemma emplea atención bidireccional dentro del canvas.
• Cuello de botella para inferencia local: los autoregresivos suelen limitarse por el ancho de banda de memoria; DiffusionGemma por el cómputo paralelizable.
• Manejo de autorevisión: en los autoregresivos la corrección es limitada porque los tokens previos suelen quedar fijos; DiffusionGemma permite re-noisar y reemplazar posiciones inciertas.
• Escalado a textos largos: DiffusionGemma usa múltiples canvases secuenciales de 256 tokens que se van concatenando, por lo que mantiene un comportamiento híbrido (paralelo dentro de bloques, secuencial entre bloques).

Arquitectura de DiffusionGemma (visión general)

El diseño se apoya en tres componentes principales:

1. Encoder (prefill)

El encoder procesa el prompt del usuario y construye una caché de claves/valores (KV cache). Esta representación del contexto no se regenera en cada paso de difusión; en su lugar, se reutiliza durante el proceso de denoising, lo que ahorra trabajo repetido.

2. Denoising decoder

El decoder opera sobre el canvas de tokens (por defecto 256). Usa atención bidireccional en ese bloque, lo que permite que cada posición atienda a cualquier otra posición del mismo canvas. Esta característica es útil para infilling de código, cerrar estructuras de Markdown, o generar bloques estructurados donde el contenido posterior afecta al anterior.

3. Bucle de muestreo multi-canvas con block-autoregressividad

Para generar respuestas más largas que 256 tokens, DiffusionGemma repite este flujo: inicializar un canvas ruidoso, denoisearlo en varios pasos, finalizarlo, anexarlo al contexto y pasar al siguiente canvas. Así se consigue un comportamiento híbrido: dentro de cada bloque la generación es paralela y basada en difusión; entre bloques sigue una lógica secuencial.

Cómo funciona la difusión para texto (concepto)

La difusión es un enfoque popular en generación de imágenes: se parte de ruido y gradualmente se elimina hasta obtener una imagen coherente. Aplicar esa idea a texto implica un reto adicional: el texto es discreto (tokens), no continuo como los píxeles.

En lugar de suavizar ruido continuo, DiffusionGemma comienza con tokens placeholders aleatorios en el canvas y, a través de pasos de predicción y refinamiento, sustituye esos placeholders por tokens cada vez más coherentes con el prompt y el contexto. Este proceso iterativo permite corregir posiciones inciertas y producir bloques más homogéneos desde el inicio.

Ventajas y limitaciones prácticas

Ventajas:

• Menor latencia percibida en inferencia local y con baja concurrencia.
• Mejor capacidad de autocorrección dentro de un bloque (útil para edición y rellenado de código).
• Adecuado para herramientas interactivas donde se necesita respuesta rápida en bloque.

Limitaciones y consideraciones:

• Experimento orientado a velocidad; la calidad de salida puede diferir de modelos autoregresivos maduros en ciertos benchmarks.
• El modelo procesa bloques de 256 tokens; respuestas muy largas requieren múltiples canvases y, por tanto, siguen siendo parcialmente secuenciales.
• Ecosistema y herramientas aún están evolucionando en torno a este enfoque.

Relevancia para América Latina

En regiones con limitaciones de conectividad o donde las soluciones deben ejecutarse en máquinas locales (por políticas de privacidad o costos), DiffusionGemma ofrece una alternativa interesante: prioriza la rapidez en la experiencia del usuario individual. Para pymes, desarrolladores de asistentes locales o empresas que buscan interactividad en escritorio, este tipo de modelo puede reducir la dependencia de batching en la nube y mejorar la responsividad.

Además, casos de uso comunes en la región —como generación y edición de contenido en español, herramientas de apoyo al desarrollo de software local, o asistentes para atención al cliente con baja concurrencia— pueden beneficiarse del enfoque de bloques refinados.

Cómo empezar a probar DiffusionGemma localmente (orientación general)

Google publicó el modelo en forma de pesos abiertos, y la comunidad ya explora integraciones con runtimes optimizados para CPU/GPU y herramientas como runtimes ligeros que permiten inferencia local. Para quien quiera experimentar:

• Considere entornos que soporten modelos grandes y administración de memoria (por ejemplo, runtimes optimizados tipo llama.cpp u otros forks compatibles).
• Prepárese a evaluar la latencia en su hardware objetivo: la ganancia de DiffusionGemma es más notable en escenarios de baja concurrencia y cuando el cómputo paralelo de un canvas puede aprovecharse.
• Pruebe casos de infilling, edición y generación de bloques estructurados para comparar la experiencia frente a un modelo autoregresivo equivalente.

No olvide respetar las licencias y requisitos de uso al descargar y ejecutar pesos de modelos abiertos.

Conclusión

DiffusionGemma representa un experimento interesante que reimagina la generación de texto desde la perspectiva de la latencia y la interactividad local. Al generar y refinar bloques completos en paralelo, pone el foco en la velocidad para usuarios individuales y en flujos de trabajo donde la edición y el infilling son importantes. Para América Latina, donde la ejecución local y la experiencia responsiva suelen ser prioridades, este enfoque tiene aplicaciones prácticas. Sin embargo, sigue siendo una tecnología en evolución y no un reemplazo directo de los modelos autoregresivos maduros; su adopción dependerá de los casos de uso y de la madurez del ecosistema de herramientas.