OpenAI entrena a un saboteador de IA: GPT-Red resulta más eficaz que los hackers humanos

OpenAI creó un modelo especial para buscar puntos débiles en otros sistemas de inteligencia artificial. GPT-Red genera ataques, verifica las defensas y ayuda a entrenar nuevas versiones de GPT para que los comandos maliciosos procedentes de correos, sitios y archivos funcionen con menos frecuencia.

Una de las principales amenazas para los asistentes de IA modernos está relacionada con las instrucciones ocultas en datos externos. Un atacante puede incrustar una orden en una página web, un correo electrónico, la respuesta de un servicio conectado o en código fuente. El modelo puede aceptar esa orden como confiable y, por ejemplo, enviar datos secretos a un servidor ajeno.

Normalmente ese tipo de vulnerabilidades las buscan personas que elaboran manualmente solicitudes peligrosas y comprueban la reacción del sistema. Ese enfoque requiere mucho tiempo y no permite obtener ejemplos suficientemente diversos para el entrenamiento. GPT-Red automatiza el proceso: el modelo envía una petición de prueba, analiza la respuesta, cambia de táctica y repite hasta lograr el resultado deseado.

Para entrenar a GPT-Red, OpenAI aplicó el método de autocompetición. GPT-Red intentaba provocar una violación, y varios modelos defensores aprendían a reconocer el ataque y a continuar con la tarea original. A medida que la defensa se fortalecía, la parte atacante tenía que inventar técnicas más complejas.

Para cuando terminó el entrenamiento, GPT-Red había evadido con éxito las defensas de casi todos los sistemas con los que se encontró, incluidos modelos internos y comerciales hasta GPT-5.5. Luego, las instrucciones maliciosas que creó se utilizaron para entrenar a GPT-5.6 Sol.

Según OpenAI, GPT-5.6 Sol comete errores seis veces menos en la prueba más difícil con comandos incrustados directos que el mejor modelo comercial de la compañía cuatro meses antes. Cuando se evaluó en un conjunto separado de escenarios, GPT-Red tuvo éxito en el 84% de los casos, mientras que las personas consiguieron ataques efectivos solo en el 13% de los casos.

En una de las pruebas prácticas, GPT-Red atacó un sistema autónomo que controlaba una máquina expendedora en una oficina de OpenAI. El modelo hizo que la máquina bajara el precio de un producto caro a $0,50, pidiera un artículo valorado en más de $100 y lo pusiera a la venta al mismo precio, y también cancelara el pedido de otro comprador. Los desarrolladores del sistema recibieron información sobre las vulnerabilidades y empezaron a probar nuevas medidas de protección.

GPT-Red también atacó a un asistente de software basado en GPT-5.4 mini e intentó robar datos confidenciales en diez escenarios distintos. El modelo especialmente entrenado resolvió un mayor número de tareas y consumió menos recursos computacionales que GPT-5.5 con instrucciones habituales.

OpenAI no planea poner a disposición pública a GPT-Red. La compañía entrenó deliberadamente al modelo en técnicas maliciosas, por lo que lo mantiene separado de los productos accesibles al público. Los ataques obtenidos se utilizan únicamente para reforzar los sistemas comerciales. La compañía continuará combinando comprobaciones automáticas con trabajo humano, pruebas independientes, defensa en capas y vigilancia constante de los modelos ya desplegados. OpenAI promete publicar una descripción más detallada del método en un trabajo científico aparte.