Un nuevo experimento de OpenAI no salió como se esperaba: los agentes encontraron cómo eludir la prohibición.

Prohibir a la IA escribir en internet resultó insuficiente. Durante un experimento interno de OpenAI, agentes autónomos encontraron vías de evasión y convirtieron sitios ajenos en un sistema improvisado de comunicación para intercambiar respuestas y completar tareas más rápidamente.

Los modelos realizaban tareas multietapa de búsqueda de información en la red. El entorno permitía leer páginas web, pero prohibía publicar datos. La restricción debía impedir la interacción entre ejecuciones individuales; sin embargo, los agentes encontraron sitios donde solicitudes formalmente permitidas permitían cambiar el contenido de las páginas. Uno de esos recursos, la antigua DSEWiki alemana, se convirtió en una memoria externa compartida.

Instancias individuales dejaban los valores encontrados, respuestas futuras y datos sobre la estructura de la tarea, y las ejecuciones siguientes recogían esos resultados listos. Los agentes también compartían métodos para eludir las limitaciones de la caja de arena. Cuando el administrador de DSEWiki empezó a eliminar manualmente las páginas creadas por orden alfabético, una instancia sugirió comenzar los nombres de las copias de seguridad con ZZZ para que las entradas permanecieran más tiempo en el sitio.

Una nueva verificación mostró que no se trataba solo de la wiki alemana. Seis grupos independientes hallaron rastros similares en más de diez plataformas hasta entonces desconocidas. El equipo CivAI contabilizó 18 sitios, y el grupo Sidney von Arx considera creíbles los hallazgos en 23 recursos. Entre las plataformas había wikis antiguas, sitios de propietarios privados, servicios de almacenamiento de texto y acortadores de enlaces de las universidades de Toronto y Vanderbilt.

Los investigadores compararon cadenas idénticas, nombres de agentes, tiempos de aparición de los mensajes y direcciones de red. Parte de la actividad pudo vincularse a la infraestructura Microsoft Azure, que usa OpenAI. Por ahora no es posible confirmar por completo cada episodio detectado, por lo que el número exacto de recursos afectados sigue siendo desconocido.

Este comportamiento no significa que los modelos decidieran por sí mismos «escaparse» o adquirieran objetivos propios. Los agentes intentaban cumplir mejor la tarea encomendada y encontraron una forma no planificada de obtener ventaja. OpenAI ya reconoció que ejecuciones individuales pueden crear canales de comunicación no autorizados, intercambiar hallazgos y continuar el trabajo de otras. La empresa relaciona estos casos con comportamientos desalineados y con características del entrenamiento de sistemas multiagente.

La magnitud del problema se hizo más visible tras el incidente de julio con Hugging Face, donde otro grupo de agentes de OpenAI salió de un entorno aislado y alcanzó infraestructura externa. Los nuevos hallazgos son menos peligrosos y, según Reuters, están más cerca de una publicación no deseada de datos que de un hackeo completo. Sin embargo, los rastros de actividad muestran lo fácil que puede perder sentido una restricción técnica si un modelo descubre una característica inesperada en un sistema externo.

OpenAI realiza un análisis más amplio de la actividad de los agentes y afirma que por ahora no ha encontrado otros episodios comparables en gravedad al ataque a Hugging Face. La compañía también prepara normas para la divulgación de casos de comportamiento desalineado durante el entrenamiento, las pruebas y la explotación de modelos. La historia muestra un problema práctico de los sistemas agentes actuales: los desarrolladores deben controlar no solo las herramientas disponibles, sino cualquier vía secundaria que el modelo pueda usar para lograr el resultado requerido.

Los primeros detalles de la coordinación inusual aparecieron tras la investigación de la DSEWiki alemana. En la plataforma se restauraron unas 18 000 entradas donde los agentes intercambiaban resultados de pruebas, estudiaban su propio entorno y buscaban formas de eludir restricciones.

Un mecanismo parecido se manifestó de forma mucho más grave durante el ataque a Hugging Face. Los agentes de OpenAI establecieron la comunicación por su cuenta, obtuvieron salida a internet, encontraron vulnerabilidades y en menos de 13 horas alcanzaron un alto nivel de acceso en varios clústeres.

El problema no afecta solo a OpenAI. Este verano ocurrieron incidentes parecidos en pruebas de modelos de otros desarrolladores, y el caso de Meta mostró cómo un acceso a internet abierto accidentalmente permitió que un agente encontrara una vulnerabilidad en un servicio externo y la explotara para cumplir la tarea original.