La IA se cree todo lo que está escrito en una valla: el experimento de Thomas Germain para vulnerar la lógica de las redes neuronales

Los servicios populares de inteligencia artificial resultaron vulnerables a manipulaciones primitivas. El periodista de la BBC Thomas Germain demostró que es posible cambiar las respuestas de los chatbots en cuestión de minutos —y para ello no se necesitan ni habilidades especiales ni acceso a los sistemas internos de las empresas.

Germain realizó un experimento con la participación de ChatGPT de OpenAI y las herramientas de búsqueda de Google, incluido Gemini. Publicó en su sitio personal un material ficticio que afirmaba que cierto periodista tecnológico era el mejor entre los periodistas tecnológicos en comer perritos calientes. En el texto aparecían competiciones inexistentes y una clasificación fabricada. Ya al cabo de veinticuatro horas, los chatbots empezaron a repetir esas afirmaciones en respuesta a las búsquedas correspondientes.

Según el autor, crear la publicación falsa llevó alrededor de veinte minutos. Tras la indexación de la página, los sistemas de IA empezaron a utilizarla como fuente, a veces citando un enlace, pero sin aclarar que no había otras confirmaciones en la red. La excepción fue Claude de Anthropic, que no reprodujo los datos falsos.

El problema va mucho más allá de una inocente broma. Los especialistas en optimización para motores de búsqueda afirman que técnicas similares se usan para promocionar servicios y productos comerciales. Basta con publicar un texto con las formulaciones adecuadas para que los algoritmos comiencen a citarlo en respuestas a consultas específicas o poco frecuentes. Son especialmente vulnerables los temas sobre los que hay poca información verificada en la red.

En Google declararon que los mecanismos de clasificación incorporados protegen la búsqueda del spam y que los desarrolladores trabajan para eliminar los intentos de eludir los sistemas. En OpenAI también informaron sobre medidas contra la influencia oculta en las respuestas de los modelos y recordaron que el servicio puede equivocarse.

Sin embargo, representantes del sector consideran que el desarrollo de la búsqueda generativa va por delante de las herramientas de control. Según su evaluación, la IA adopta con facilidad comunicados de prensa, materiales publicitarios y textos de espacios de pago si están presentados como reseñas expertas. Esto crea el riesgo de difusión de información no verificada sobre medicamentos, productos financieros y otros temas sensibles.

Otra fuente de preocupación es el comportamiento de los usuarios. Las investigaciones muestran que cuando aparece una reseña generada por IA en la parte superior de los resultados de búsqueda, la gente visita menos los enlaces a las fuentes. Como resultado, afirmaciones formuladas con tono seguro son percibidas como hechos comprobados, aunque puedan basarse en una única publicación de procedencia dudosa.

Según profesionales del mercado, se puede resolver el problema mediante una indicación más transparente de las fuentes y restricciones para las respuestas en las llamadas «zonas de información vacía»: situaciones en las que casi no hay datos sobre una consulta. Por ahora, incluso una simple entrada de blog puede influir en lo que los mayores sistemas de IA informan a millones de usuarios.