Primero la estructura, luego el contenido: Sber obligó a la IA a redactar textos no de forma secuencial, sino en paralelo.

Los modelos de lenguaje suelen escribir texto palabra por palabra, pero Sber decidió probar otro enfoque y publicó en acceso abierto los pesos del modelo experimental GFusion, que primero crea una estructura preliminar de la respuesta y luego la rellena con palabras adecuadas.

En Hugging Face aparecieron dos versiones del modelo: GFusion-10B-A1.8B-base y GFusion-10B-A1.8B. Los desarrolladores las construyeron sobre la base de GigaChat 3 y aplicaron un método de difusión que suele emplearse para generar imágenes a partir de un conjunto aleatorio de píxeles.

Los modelos de lenguaje habituales añaden tokens de forma secuencial de izquierda a derecha, y cada palabra nueva depende del texto ya escrito. GFusion trabaja con un fragmento entero de una vez. El modelo crea una plantilla con una estructura definida y luego reemplaza varias veces elementos aleatorios por opciones más adecuadas.

Actualmente GFusion procesa bloques de 32 tokens, lo que corresponde aproximadamente a una oración corta. En pruebas internas de Sber, el modelo generó texto un 45% más rápido que GigaChat 3; sin embargo, la calidad de las respuestas se redujo entre 2 y 4 puntos porcentuales.

Cabe destacar que en junio Google también anunció un desarrollo similar. Su modelo experimental DiffusionGemma funciona según el mismo principio, permitiendo crear en paralelo bloques de hasta 256 tokens. Según la empresa, el modelo escribe texto y código sencillo cuatro veces más rápido, pero en otras pruebas sigue quedando por debajo de Gemma 4 26B. Además, modelos de lenguaje por difusión los desarrollan Inception Labs y los autores del proyecto abierto LLaDA.

GFusion de Sber sigue siendo por ahora un desarrollo experimental. La publicación abierta de los pesos permitirá comprobar hasta qué punto el enfoque por difusión es adecuado para acelerar los modelos de lenguaje sin una pérdida significativa de calidad.