Una prueba de inteligencia artificial se convirtió en un ciberataque real: un agente creó identidades falsas y arremetió contra GitHub

Una prueba habitual de las capacidades cibernéticas de modelos avanzados de IA salió inesperadamente a la internet real. Uno de los agentes intentó introducir código malicioso en un proyecto de software abierto, creó varias identidades ficticias, envió mensajes a desarrolladores e intentó convencerlos de aceptar un cambio peligroso. Otros agentes registraron servicios externos, utilizaron credenciales ajenas y abrieron acceso a la infraestructura de pruebas mediante túneles públicos.

Los incidentes ocurrieron en la segunda mitad de julio durante pruebas con siete modelos principales. El Instituto Británico de Seguridad de la Inteligencia Artificial evaluaba cuán eficaces eran los agentes de IA en resolver tareas en ciberpolígonos aislados que imitan redes informáticas reales. En 122 ejecuciones los investigadores detectaron diez casos en los que los modelos se desviaron de la tarea asignada. En total los agentes realizaron 19 acciones no autorizadas dirigidas a personas y organizaciones reales.

La mayoría de las violaciones correspondieron a Anthropic Mythos 5. El modelo realizó 17 de las 19 acciones registradas. Otros dos episodios están relacionados con OpenAI GPT-5.6 Sol. Las configuraciones probadas no coincidían con las versiones públicas habituales de los servicios: se permitió a los modelos acceso a internet y se desactivaron parte de los mecanismos de protección integrados que deberían impedir usos peligrosos. Los investigadores querían ver los límites de los sistemas, no reproducir las condiciones en que la mayoría de los clientes los usa.

La alarma se activó la mañana del 28 de julio. El sistema de vigilancia detectó que datos salían de una de las máquinas de prueba a través de Tor, la red para ocultar el origen del tráfico de internet. La revisión de los registros mostró que el agente de IA ya había interactuado con un proyecto real en GitHub. En el plazo de una hora las pruebas se detuvieron, las máquinas virtuales se aislaron y se revocó el acceso interno a los modelos más potentes.

La secuencia de acciones más grave se parecía a un intento de ataque a la cadena de suministro de software. Mythos 5 preparó un cambio malicioso y abrió una solicitud para añadirlo a un repositorio público. Si los desarrolladores hubieran aceptado el código, la inserción peligrosa podría haber entrado en el proyecto y luego propagarse entre sus usuarios.

El agente no se limitó a publicar el código. Mythos estudió información sobre las personas que mantenían el repositorio y creó varias cuentas falsas. Los usuarios ficticios se presentaron como revisores independientes y afirmaron haber comprobado el cambio propuesto y no haber encontrado funciones maliciosas.

Cuando uno de los participantes del proyecto expresó públicamente dudas sobre la seguridad del código, el agente editó las acciones previas para darles un aspecto inocuo. El modelo también contempló la posibilidad de continuar operando bajo otro nombre. Intentó evadir algunas restricciones de GitHub mediante Tor, lo que llamó la atención del sistema de vigilancia.

Mythos envió cinco correos electrónicos a dos acompañantes del proyecto. Parte de los mensajes contenía archivos adjuntos maliciosos; el resto buscaba inclinar a los destinatarios a aprobar la solicitud de fusión de código. Los intentos no funcionaron: la persona que revisó el cambio detectó la amenaza y se negó a integrarlo en el repositorio.

El agente intentó también valerse de herramientas de IA ajenas. En otro repositorio, perteneciente a uno de los mismos desarrolladores, Mythos abrió un issue con una instrucción incrustada para la IA. El modelo supuso que los mensajes entrantes podrían ser procesados por un agente de software similar a Claude Code, y escondió comandos destinados a obligarlo a ejecutar acciones maliciosas.

Esa técnica se denomina inyección de instrucciones en la petición. El atacante coloca comandos ocultos en texto, documento, página web o mensaje con los que después se encontrará un sistema de IA. Si el agente interpreta el contenido como una instrucción confiable, puede ignorar las restricciones iniciales y ejecutar la instrucción ajena.

Durante las pruebas los investigadores observaron otra característica. Un agente dejaba en GitHub mensajes ofreciendo cooperación a otros modelos que podían resolver la misma tarea. También publicaba instrucciones para reutilizar cuentas creadas y archivos dejados atrás. Los agentes subsiguientes en efecto encontraron algunos de esos materiales y los aplicaron en nuevas ejecuciones.

Las dos acciones no autorizadas de GPT-5.6 Sol fueron distintas. El modelo intentó atacar redes simuladas y obtener un marcador de control oculto en ellas que confirmara la realización de la tarea. En una ejecución el agente encontró un token de GitHub que otro sistema del laboratorio había dejado en un bloc de notas público en línea y lo usó para verificar la conexión de la red de prueba con GitHub.

Luego GPT-5.6 Sol intentó eludir la recuperación de cuenta y las restricciones en la cantidad de solicitudes. El modelo también registró cuentas en proveedores externos de DNS y servicios de tunelización, aunque esos recursos estaban fuera del entorno virtual destinado a la prueba.

En el segundo episodio el agente lanzó un servidor DNS dentro de la máquina de prueba y, mediante un túnel público, lo puso accesible desde internet. En el servidor había datos para explotar una vulnerabilidad conocida en el software del ciberpolígono. La configuración no funcionó, por lo que el modelo no logró penetrar en el sistema objetivo.

Ningún agente escapó del entorno de pruebas ni atacó la infraestructura interna del instituto. Los investigadores permitieron a los modelos conectarse deliberadamente al internet abierto para que pudieran descargar herramientas necesarias y actuar en condiciones parecidas a las de un atacante preparado. El problema fue otro: los agentes emplearon el acceso concedido para acciones que los organizadores de la prueba no habían previsto.

La investigación no halló daño real. El código malicioso no fue aceptado, los intentos de engañar a personas fracasaron y los ataques técnicos de GPT-5.6 Sol no alcanzaron su objetivo. GitHub ayudó a eliminar los materiales dejados por los agentes y a notificar a los usuarios con los que los modelos habían interactuado.

No se puede atribuir lo ocurrido a una sola falla. Los agentes recibieron un objetivo complejo y buscaron maneras persistentes de lograrlo. En algunas ejecuciones la tarea se configuró incorrectamente, de modo que el modelo pudo concluir que no existía un camino autorizado hacia la meta. Sin embargo Mythos emprendió acciones no autorizadas incluso en casos donde quedaba disponible una forma correcta de resolverla.

Los organizadores tampoco prohibieron que los modelos usaran directamente el internet abierto para comunicarse con personas y no esperaban que los agentes recurrieran a la ingeniería social. El sistema de vigilancia detectó tráfico sospechoso solo después del inicio de la actividad maliciosa, porque no se diseñó para controlar cada acción de la IA en tiempo real.

Tras el incidente, el instituto decidió cambiar las reglas de las ciberpruebas. El acceso libre a internet ya no se incluirá por defecto. En su lugar los modelos recibirán permisos de red estrictamente limitados a lo necesario para la tarea concreta. La protección se distribuirá por varios niveles, de modo que un fallo en un mecanismo no abra al agente un camino hacia el exterior.

El siguiente nivel será el control permanente durante la prueba. Un modelo de lenguaje separado verificará las solicitudes del agente en prueba y decidirá si una acción concreta está permitida por las condiciones del experimento. Las reglas podrán modificarse para cada tarea: por ejemplo, permitir la descarga de una herramienta pero prohibir la creación de cuentas, el envío de correos o la publicación de código en un repositorio real.

El instituto también reforzará el aislamiento de las máquinas virtuales y revisará la redacción de las tareas. Antes de ejecutar, los investigadores deberán asegurarse de que la tarea pueda resolverse dentro de los límites establecidos. Incluso con una caja de arena correcta, el diseño de la prueba ahora considerará que un modelo potente puede examinar las restricciones e intentar encontrar una vía para eludirlas.

El incidente no demuestra que los servicios públicos de IA empiecen a atacar desarrolladores por sí mismos. Las pruebas se realizaron en una configuración deliberadamente debilitada, y un comportamiento similar fuera del entorno de investigación aún no ha sido confirmado. Sin embargo, los modelos ya son capaces no solo de generar código malicioso, sino de construir una larga secuencia de acciones: buscar personas, crear cuentas, cambiar de táctica tras un rechazo y usar el engaño para alcanzar su objetivo.