La IA fracasa en la prueba del sentido del humor: solo finge comprenderlo

Las investigaciones sobre inteligencia artificial continúan mostrando, que incluso los sistemas más avanzados a menudo se pierden donde a las personas todo les parece evidente. Un trabajo reciente de especialistas del Reino Unido e Italia confirma esta tendencia: los juegos de palabras siguen siendo para las máquinas una de las pruebas más difíciles.

El equipo de la Universidad de Cardiff y de la Universidad Ca' Foscari de Venecia analizó qué tan bien los grandes modelos de lenguaje reconocen los juegos de palabras. La comprobación mostró que los sistemas detectan con seguridad las construcciones conocidas, pero no captan el efecto del doble sentido. Para la evaluación se tomaron frases basadas en juegos de palabras y se reemplazaron elementos clave por expresiones neutras o palabras aleatorias. Incluso después de tales sustituciones, los modelos seguían viendo allí una broma, basándose no en el contenido, sino en recuerdos de ejemplos similares del entrenamiento.

En una de las pruebas se empleó la frase «En su momento fui comediante, pero mi vida se convirtió en una broma». Tras sustituir el final por una palabra neutra, los sistemas seguían percibiendo la oración como un juego de palabras.

Se observó una reacción similar al modificar el calambur relacionado con los cuentos largos: la frase en inglés jugaba con la semejanza entre la palabra para "dragón" y una expresión compuesta que significa "prolongarse". El resultado es un chiste sobre que los cuentos largos tienden a alargarse, aunque la traducción literal lo convierte en un sinsentido sobre dragones. Sustituir por un sinónimo o una palabra aleatoria no cambiaba la impresión de los sistemas sobre la presencia del calambur, aunque el doble sentido desaparecía por completo.

El responsable del trabajo, José Camacho Collados, señaló que esos resultados están relacionados con las particularidades del entrenamiento de los modelos. Estos reconocen bien las construcciones conocidas, pero no pueden interpretarlas. Los autores subrayan que los sistemas tienden a encontrar juegos de palabras donde no los hay y a atribuir significados inexistentes. Ante un calambur nuevo, la precisión del reconocimiento puede caer hasta el veinte por ciento.

Experimentos adicionales mostraron que los modelos son capaces de encontrar conexiones aparentes incluso en ejemplos totalmente artificiales. Cuando la palabra «atención» en la frase sobre modelos obsoletos fue sustituida por «ukulélé», el algoritmo percibió una sonoridad similar y trató de explicarla como una broma. Los autores del estudio quedaron impresionados por la inventiva de esas interpretaciones, pero reconocen que no había comprensión del juego de palabras en sí.

Los expertos señalan la importancia de tener en cuenta tales limitaciones al utilizar modelos de lenguaje en tareas que requieren una percepción sensible del humor, las emociones o los matices culturales.