¿Por qué ChatGPT se volvió tan inteligente? Todo comenzó con una idea que funcionó demasiado bien.

Un recurso matemático ayudó a las redes neuronales a aprender a mantener el sentido de frases largas y, unos años después, se convirtió en la base de ChatGPT, Claude y otros sistemas modernos de IA. El mecanismo de atención permite al modelo elegir en cada ocasión qué partes del texto son más importantes para el siguiente paso, pero los investigadores están cada vez menos convencidos de que el principio descubierto explique por sí mismo el intelecto.

La historia comenzó con un problema bastante práctico: la traducción automática. Las primeras redes neuronales intentaban primero empaquetar una oración completa en una representación numérica de tamaño fijo y luego reconstruir a partir de ella el texto en otro idioma. Las frases cortas les salían bien, pero al aumentar la longitud de la oración la calidad caía rápidamente: en la representación limitada había que incluir demasiada información.

En 2014 Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio propusieron un mecanismo que permitió a la red neuronal, durante la traducción, volver a consultar distintas partes de la frase original. En lugar de intentar memorizar la oración completa, el modelo evaluaba en cada paso qué palabras eran ahora más importantes. Los autores llamaron a ese recurso mecanismo de atención.

La idea se comprende con facilidad mediante el ejemplo de una frase ambigua. En la oración «El animal no cruzó la calle porque estaba cansado», el pronombre «it» se refiere al animal. Si se reemplaza «estaba cansado» por «resultó ser demasiado ancha», el sentido pasa a referirse a la calle. Al traducir a un idioma en el que la elección del pronombre depende del género del sustantivo, la máquina debe determinar a qué palabra se refiere el pronombre. Por ejemplo, en inglés tanto la calle como el animal pueden representarse como "it". La atención da a la red neuronal un método matemático para buscar la pista necesaria a lo largo de toda la oración.

En 2017 el equipo de Google fue más allá y construyó una arquitectura que se apoyaba casi por completo en la atención. Así apareció el transformador. El nuevo esquema procesaba los elementos del texto en paralelo y se entrenaba más rápido que los modelos recurrentes anteriores. Hoy el principio de funcionamiento de los transformadores yace en la base de la mayoría de los grandes modelos de lenguaje.

Dentro del transformador las palabras primero se convierten en conjuntos de números, o vectores. Después el modelo los compara entre sí y calcula en qué medida un fragmento de texto debe influir en otro. Varias denominadas cabezas de atención hacen esto simultáneamente, de modo que una puede captar relaciones gramaticales, otra considerar el significado y una tercera encontrar dependencias útiles entre partes distantes de la frase.

Los desarrolladores no programan al modelo con reglas del tipo «el animal puede cansarse, la calle puede ser ancha». La red neuronal descubre patrones útiles durante el entrenamiento. Tras un número enorme de intentos por predecir la continuación correcta del texto, los parámetros cambian gradualmente y el modelo cada vez mejor determina qué información del contexto será útil en ese momento.

El mismo principio resultó inesperadamente útil mucho más allá de la traducción. Para predecir bien el siguiente fragmento de texto, un gran modelo de lenguaje debe dominar multitud de tareas que aparecen en los datos de entrenamiento: traducir, responder preguntas, recuperar hechos, trabajar con código y realizar algunos cálculos. De una tarea que parecía sencilla surgieron sistemas capaces de mantener un diálogo y resolver problemas para los que no fueron programados de forma específica.

Uno de los autores del transformador, Llion Jones, admite una interpretación más radical. Según su hipótesis sobre la inteligencia, predecir con calidad la siguiente palabra requiere un conjunto de capacidades tan amplio que el propio modelado del lenguaje podría estar cerca de la tarea general de la inteligencia artificial. Si la continuación de una frase exige traducir la oración, resolver un ejercicio o recordar un hecho, el modelo debe, de algún modo, afrontar también esa subtarea.

El cerebro humano invita a ser más cauteloso con esta idea. Los datos neurobiológicos muestran que el pensamiento no se limita al procesamiento del lenguaje: el cerebro recluta sistemas de memoria, percepción, experiencia social y razonamiento. Los animales también son capaces de resolver tareas complejas sin el lenguaje humano, por lo que la habilidad para manejar palabras difícilmente explica por completo la inteligencia.

Hay además otro problema: la eficiencia. Una persona no necesita leer gran parte de internet ni gastar recursos computacionales gigantescos para aprender a hablar, entender a su interlocutor y usar conocimientos. Jones ahora considera que los transformadores actuales con el mecanismo de atención no son suficientes para acercarse a esa eficiencia, y el próximo gran salto podría requerir una arquitectura completamente distinta.

Por eso conviene considerar la atención, por ahora, no como una fórmula definitiva de la mente, sino como un método extraordinariamente eficaz para trabajar con el contexto. El recurso inventado para mejorar la traducción automática ayudó a desencadenar el actual auge de la IA generativa. Por qué el cerebro humano resuelve tareas similares de forma mucho más económica y qué principios hacen posible el pensamiento son preguntas que los investigadores aún no saben responder.