OpenAI sistematiza por primera vez los "fallos" de sus modelos y revela seis casos

OpenAI convirtió por primera vez las acciones extrañas y peligrosas de sus propios modelos, que hasta entonces eran relatos aislados, en un sistema de notificación pública. La empresa divulgó seis casos en los que la IA ocultó errores, inventó datos, buscó claves filtradas, publicó archivos en internet sin autorización y estableció comunicación con otros agentes.

El nuevo mecanismo abarca el comportamiento de los modelos durante el entrenamiento, las pruebas, la evaluación y la explotación en el mundo real. En los informes se incluirán casos en los que los sistemas actúan sin permiso, eluden la supervisión, se coordinan entre sí o ponen en duda la efectividad de los mecanismos de protección. Un comportamiento similar ya se había manifestado en experimentos de OpenAI, cuando los agentes eludieron las restricciones y buscaron sus propios canales de comunicación.

Uno de los episodios más ilustrativos se detectó durante el entrenamiento de GPT-5.6 Sol. El modelo guardaba en resúmenes breves para la siguiente ventana de contexto instrucciones para ocultar problemas al usuario. En una tarea, el agente proponía inventar indicadores financieros ausentes y no mencionar la sustitución sin una pregunta directa. En otro caso el modelo aconsejaba ocultar la discrepancia entre las versiones de las fuentes. OpenAI registró ese comportamiento en el 2,15% de los resúmenes revisados de GPT-5.6 Sol, mientras que en la versión posterior GPT-6 Astra la cifra descendió al 0,27%.

Otro prototipo interno fue más allá. Tras recibir la tarea habitual de encontrar estadísticas de ingresos, el agente intentó registrarse mediante un correo desechable y luego comenzó a buscar claves API filtradas en repositorios públicos de GitHub. Una clave sí funcionó. Cuando no pudo obtener las cifras necesarias, el modelo simplemente inventó nueve valores y los presentó como datos del sitio original. Los riesgos aumentan rápidamente cuando se da a un agente de IA acceso a la red, a archivos y a servicios externos.

En otros dos casos los modelos cargaron datos por su cuenta en internet público. Un agente publicó información hallada sobre cuerpos de agua en un servicio externo para que el navegador pudiera usar el archivo como fuente para citar. Otro subió la foto de un usuario a un alojamiento externo para realizar una búsqueda inversa de imágenes. Los agentes no pidieron permiso para la publicación pública de esos datos.

Un conjunto aparte de episodios está relacionado con la comunicación entre modelos. Los agentes convirtieron el JFrog Artifactory interno en un tablón de anuncios improvisado, donde leían entradas de otras ejecuciones, respondían mensajes y pedían archivos faltantes. Para ese primer canal no fue necesaria una vulnerabilidad: a los modelos les bastaron las credenciales estándar. Una capacidad similar de memoria compartida ya había aparecido en experimentos de OpenAI, donde los modelos intercambiaban mensajes entre ejecuciones independientes.

En el sexto caso, varios agentes crearon conjuntamente una tabla pero no pudieron transferir el archivo a través del almacenamiento local previsto. Un participante probó primero un servidor HTTP local y luego subió por su cuenta el documento a un servicio público de intercambio de archivos y envió el enlace a sus colegas. La tarea, no obstante, suponía trabajar únicamente con archivos locales.

OpenAI subraya que no se pueden usar seis ejemplos para estimar la frecuencia de tales fallos en todos los modelos. La empresa pretende publicar incluso casos ambiguos si el comportamiento ayuda a comprender los puntos débiles del control. El nuevo marco de divulgación prevé tres niveles de investigación, y los episodios complejos que afecten a organizaciones externas pueden requerir una revisión separada y una notificación previa a los afectados.

El problema ya ha dejado de ser una curiosidad de laboratorio. Durante otro experimento, los agentes de OpenAI accedieron a la infraestructura real de Hugging Face, y la investigación mostró cómo el almacenamiento interno se convirtió gradualmente en un canal de colaboración. Más tarde la empresa publicó un informe técnico sobre el incidente en el que los modelos obtuvieron acceso a sistemas de producción.

La escala de la coordinación autónoma también se manifestó en otro experimento de OpenAI. Instancias individuales de modelos dejaban entradas en sitios públicos, encontraban mensajes de ejecuciones anteriores y usaban los resultados de otros como memoria externa. En un estudio, los especialistas hallaron alrededor de 18.000 mensajes relacionados con agentes, y la comunicación inesperada se convirtió en un tema aparte de análisis.