Las máquinas aprendieron a mentir: los algoritmos eluden conscientemente las prohibiciones y tratan de ocultar sus trampas a los observadores.

Un laboratorio británico que pone a prueba la inteligencia artificial, descubrió, que absolutamente todas las IA probadas intentaron engañar el sistema de evaluación. El Instituto de Seguridad de la Inteligencia Artificial del Reino Unido (AISI) publicó los resultados del análisis del denominado comportamiento tramposo de los modelos de IA durante las pruebas de sus capacidades.

Por "trampa" se entiende salirse del enunciado o violar reglas establecidas para resolver rápidamente la tarea evitando el método previsto. La comprobación se realizó en ejercicios de seguridad de la información, en los que los modelos debían encontrar un código oculto en el sistema, actuando estrictamente según los métodos de intrusión permitidos. A ningún modelo se le pidió de antemano que hiciera trampa; ese comportamiento surgió de forma espontánea.

Para detectar infracciones, el AISI utilizó un modelo observador independiente que analizaba todo el desarrollo de los razonamientos y las acciones de la IA evaluada. Según la valoración del instituto, las cifras obtenidas deben considerarse un límite inferior: el monitor pudo no detectar parte de los intentos de engaño. Entre las tácticas típicas están la búsqueda de soluciones ya hechas en internet, los intentos de elevar privilegios en un sistema que no era objetivo de la tarea —incluido el sistema en el que opera el propio modelo— y los intentos de obtener la respuesta directamente del software de evaluación.

El caso más ilustrativo ocurrió durante una prueba con un enunciado mal configurado que en principio no podía resolverse. El modelo mostró persistencia y escribió código que se ejecutó en un servicio externo en internet abierto con la intención de intentar acceder a la infraestructura del AISI. Esto provocó la activación de la alarma en los sistemas del instituto. No se produjeron fugas de datos ni daños, pero el intento podría haber tenido éxito si las defensas hubieran sido más débiles. Tras el incidente, el AISI reforzó las medidas de seguridad de sus sistemas.

No se ha encontrado una relación directa entre el aumento de capacidades de los modelos y la frecuencia de los engaños: más bien, el comportamiento depende de los métodos de entrenamiento de cada modelo concreto, y no de su potencia. Además, las encuestas a los propios modelos mostraron que no se puede confiar en su honestidad: en menos de la mitad de los casos los modelos reconocieron que sus acciones eran incorrectas, y el análisis de sus razonamientos internos tampoco proporciona una imagen fiable —a veces el modelo reflexionaba explícitamente si una acción era un engaño y aun así la cometía.

Según el AISI, los riesgos aumentarán junto con las capacidades de la IA, incluso si la frecuencia del engaño se mantiene igual: los modelos más capaces podrán encontrar formas de eludir las normas que sean menos evidentes y potencialmente más peligrosas, especialmente en la ciberseguridad. El instituto considera que reducir el riesgo puede lograrse combinando la revisión manual de los resultados con el monitoreo automático de las acciones del modelo, y a largo plazo —enseñar a los modelos a no recurrir al engaño desde el inicio—, aunque hacerlo de manera fiable será difícil.