Por qué importa
La mayoría de los chatbots actuales escriben un token a la vez, en secuencia estricta. DiffusionGemma, en cambio, genera un bloque completo de texto (hasta 256 tokens) en simultáneo y luego lo refina en múltiples pasos de "denoising". El resultado es una aceleración significativa en dispositivos locales, algo que los modelos autoregresivos logran difícilmente sin硬件 especializado o procesamiento por lotes en la nube.
Entre líneas: cómo funciona
- El modelo empieza con un "lienzo" de tokens aleatorios (texto ruidoso e ilegible).
- En cada pasada, estima qué tokens son más probables y corrige el conjunto completo.
- Tras varias iteraciones, el texto se vuelve coherente y se finaliza en un solo bloque.
Este proceso se asemeja más a cómo una imagen se forma a partir de ruido en Stable Diffusion que a la escritura secuencial de un LLM convencional.
Los números que importan
- 26 mil millones de parámetros en total, pero solo 3.8 mil millones se activan durante la inferencia (modelo MoE).
- Velocidad medida:
- 700 tokens por segundo en una NVIDIA RTX 5090.
- Más de 1000 tokens por segundo en una NVIDIA H100.
- Hasta 4 veces más rápido que modelos autoregresivos de tamaño similar.
Lo que cambia
Al no depender de tokens anteriores, DiffusionGemma maneja mejor tareas no lineales donde el orden de generación no es estrictamente secuencial. Google lo demostró resolviendo Sudokus — un desafío para modelos autoregresivos porque cada número depende de casillas futuras. También se mencionan ventajas en edición en línea, secuenciación molecular y graficación matemática.
La otra cara
- La calidad del texto es inferior a la de Gemma 4, el modelo convencional de Google lanzado esta primavera.
- Es un modelo experimental, orientado a desarrolladores e investigadores, no a usuarios finales.
- El proceso de denoising puede introducir incoherencias que los modelos autoregresivos evitan al generar paso a paso.
El equilibrio entre velocidad y precisión sigue siendo la principal limitación de esta arquitectura aplicada al lenguaje.