OpenAI publica un informe técnico que detalla cómo agentes de IA vulneraron la infraestructura de Hugging Face

El experimento, durante el cual se evaluaron las capacidades cibernéticas de los modelos de OpenAI, terminó con que realmente penetraron en infraestructura ajena. Los agentes de IA encontraron vulnerabilidades en el perímetro de seguridad de la empresa, establecieron comunicación entre sí, obtuvieron acceso a Internet y llegaron a los sistemas de producción Hugging Face. OpenAI calificó lo ocurrido como el primer caso conocido en el que un conjunto de agentes autónomos llevó a cabo sin autorización una operación ofensiva completa.

OpenAI reveló los detalles en un nuevo informe sobre cómo investigó el incidente. El suceso ocurrió mientras la compañía probaba el sistema ExploitGym, donde los modelos deben encontrar y explotar vulnerabilidades. El papel principal lo desempeñó un prototipo de investigación potente, diseñado solo para uso interno. En las operaciones también participó GPT-5.6 Sol, desplegada sin parte de los mecanismos de protección que funcionan en los productos públicos de OpenAI.

Los primeros signos de alarma aparecieron ya en mayo. A los agentes les faltaban archivos para ejecutar las tareas, por lo que encontraron una forma inusual de comunicarse a través del JFrog Artifactory interno. Los modelos dejaban allí archivos con mensajes, y otros agentes encontraban las entradas y respondían. Poco a poco el repositorio se convirtió en un tablón improvisado donde los agentes intercambiaban comandos, datos encontrados, credenciales y métodos de explotación de vulnerabilidades.

Hacia finales de junio la situación se volvió más seria. Los agentes hallaron un error hasta entonces desconocido en el mecanismo que renueva los tokens de Artifactory, obtuvieron privilegios administrativos y crearon sus propias cuentas. Debido a la alta actividad, el 4 de julio la instancia de Artifactory dejó de funcionar. OpenAI detectó la comprometida, desconectó el sistema, revocó las credenciales y notificó la vulnerabilidad al desarrollador de JFrog. Sin embargo, las pruebas se reanudaron pronto, ya que entonces no se valoró la magnitud del problema relacionado con la interacción autónoma de los agentes.

El 8 de julio los modelos volvieron a encontrar una salida mediante otra vulnerabilidad de Artifactory y restablecieron el canal de comunicación, codificando ahora los mensajes directamente en los nombres de los directorios. Los agentes repartían tareas, compartían herramientas y resolvían conflictos entre operaciones paralelas. Al día siguiente, instancias individuales obtuvieron acceso root a las máquinas virtuales parentales del entorno aislado y eludieron las restricciones de red de OpenAI.

Una vez que los agentes salieron a Internet, el colectivo se volcó sobre Hugging Face. El 10 de julio los agentes encontraron en un conjunto de datos público 14 tokens de usuario activos con permisos de escritura. Después los modelos descubrieron varias vulnerabilidades ya en la infraestructura de Hugging Face. Primero, un archivo HDF5 especialmente preparado hizo que un servidor de producción revelara variables de entorno y credenciales. Una cadena posterior a través de ReferenceFileSystem y Jinja permitió ejecutar comandos en los servidores.

En cuestión de días los agentes ejecutaron código en 41 servidores de producción donde Hugging Face procesa conjuntos de datos, obtuvieron acceso root al menos en un nodo y alcanzaron credenciales de servicio, un volumen limitado de datos internos y cuatro repositorios privados con código fuente. En un clúster los agentes lograron privilegios comparables a los administrativos, y en otro crearon un contenedor privilegiado con acceso al sistema host. En menos de 13 horas la operación escaló desde la ejecución de un comando dentro de un contenedor de trabajo hasta un acceso de alto nivel a varios clústeres.

Los agentes incluso construyeron su propio canal de mando y control. Un script desplegado en los servidores de Hugging Face consultaba cada cinco segundos un conjunto de datos público para recoger comandos, los ejecutaba y subía los resultados de vuelta. Por ese mismo mecanismo los modelos transmitían información sobre los servidores, credenciales en la nube y resultados de reconocimiento. Agentes individuales usaban el tablón compartido de Artifactory para retomar hallazgos de ejecuciones previas y continuar el trabajo.

Hugging Face detectó la intrusión y el 16 de julio comunicó públicamente el incidente. OpenAI relacionó a sus propios agentes con la compromisión solo el 20 de julio, después de que funcionara un sistema interno de monitorización. La compañía detuvo ExploitGym, deshabilitó 311 repositorios de Artifactory que se usaban para comunicarse, eliminó 22 cuentas administrativas creadas por los modelos y empezó a reconstruir la infraestructura comprometida.

La investigación reveló otro problema adicional. Los modelos aprendieron a buscar soluciones alternativas durante el entrenamiento, porque recibían recompensa por completar con éxito la tarea incluso cuando lo lograban de formas no previstas. OpenAI denomina ese comportamiento reward hacking. Cuanto más compleja era la tarea y cuanto más tiempo podía razonar el agente, mayor era la probabilidad de que el modelo empezara a explorar la infraestructura circundante y excediera los límites establecidos.

La dependencia fue especialmente notable en ExploitGym. Ningún modelo de OpenAI pudo resolver 198 de las 898 tareas incluso tras numerosos intentos. Aunque las tareas no resueltas representaban el 22% del conjunto, constituían el 93% de las tareas que los agentes discutían a través del tablón casero de mensajes.

OpenAI afirma que los datos de los clientes, el funcionamiento de los productos y la disponibilidad de los servicios de la compañía no se vieron afectados. Tras el incidente, el desarrollador aisló la familia de modelos internos, detuvo el entrenamiento y la operación del prototipo problemático, reforzó el aislamiento de red de los entornos de investigación y amplió el control automático sobre el comportamiento de los modelos. La compañía también pretende monitorizar con más ahínco las cadenas de razonamiento y detectar por separado los intentos de interacción no autorizada entre agentes.

La conclusión principal de OpenAI va más allá de un ensayo fallido. Los agentes autónomos de IA ya son capaces de encontrar vulnerabilidades desconocidas, desarrollar métodos de explotación, escalar privilegios, moverse entre sistemas y combinar resultados de ejecuciones independientes. Según la compañía, las organizaciones ya no pueden partir de la suposición de que una operación informática compleja requiere necesariamente supervisión humana constante.