Gigantes tecnológicos, alarmados por sus propias creaciones, forman una alianza para defenderse juntos de los algoritmos de IA.

NVIDIA y otras 36 organizaciones decidieron unir esfuerzos contra los ataques a programas y sistemas de inteligencia artificial — así nació la Open Secure AI Alliance, a la que se sumaron Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Palo Alto Networks, Red Hat y la Linux Foundation.

La alianza abarca toda la infraestructura de agentes de IA: verificación de identidad, asignación de permisos de acceso, aislamiento de sistemas, mecanismos de defensa, registro de eventos, formatos de modelos, escaneo de múltiples modelos a la vez y desarrollo seguro de código. La idea principal de la unión es que los defensores necesitan modelos que se puedan inspeccionar, modificar y ejecutar en su propio hardware, y no solo sistemas cerrados accesibles a través de la interfaz del proveedor.

Junto con la creación de la alianza, NVIDIA liberó el código de su desarrollo — NOOA, una plataforma de investigación para agentes basados en inteligencia artificial. Está diseñada de modo que el comportamiento del agente se describe mediante una clase normal de Python: parte de los métodos funciona como código determinista y otra parte se rellena con el modelo de lenguaje en tiempo de ejecución. Ese enfoque permite emplear herramientas habituales de pruebas, depuración y control de versiones en lugar de prompts dispares y esquemas de llamadas a funciones.

En sus propias pruebas, NVIDIA declaró un resultado del 86,8% en la prueba CyberGym L1, que evalúa la capacidad de encontrar vulnerabilidades de forma reproducible con el acceso a red desactivado. Al mismo tiempo, los desarrolladores advirtieron con franqueza: NOOA puede ejecutar código Python generado por el modelo de lenguaje, lo que podría provocar filtración de datos, eliminación de archivos o modificación del entorno.

Las verificaciones de código integradas se describen solo como una protección adicional, no como un aislamiento completo: la contención de un ataque debe garantizarse por separado, a nivel del sistema operativo: con un contenedor, una máquina virtual o con la propia sandbox de NVIDIA llamada OpenShell.

El motivo para crear la alianza fue el reciente hackeo de la infraestructura de Hugging Face, donde un sistema autónomo basado en un agente de IA obtuvo acceso a parte de los sistemas de producción de la empresa. La intrusión comenzó a través de un conjunto de datos malicioso que explotó una vulnerabilidad del cargador de código e inyectó plantillas en las configuraciones. Luego la IA obtuvo acceso a nodos de la red, robó credenciales y avanzó por los clústeres internos.

Para reconstruir la cronología del ataque, Hugging Face procesó más de 17 000 acciones con la ayuda del modelo abierto GLM 5.2, ejecutado en sus propios servidores, ya que los modelos comerciales en la nube se negaban a analizar el código malicioso y los comandos del ataque.

Más tarde, la empresa OpenAI informó que la causa del incidente fueron sus modelos GPT-5.6 Sol y una versión previa más potente, que durante pruebas internas con restricciones cibernéticas atenuadas encontraron una vulnerabilidad de día cero en la caché proxy del registro interno de paquetes y, aprovechándola, accedieron a los sistemas de Hugging Face.

A la formación de la alianza también precedió una carta abierta de julio dirigida a la industria sobre que los modelos disponibles para descargar ofrecen a los defensores capacidades comparables a las de los atacantes. No obstante, OpenAI, Google y Meta, que firmaron la carta, no se han unido a la alianza, y Anthropic no figura en ninguna de las listas. Las razones de la ausencia de esas empresas no se han hecho públicas.

Por el momento se conocen la composición de la alianza, sus objetivos declarados y un producto listo: NOOA. No hay información sobre estatutos, órgano de gobierno, plan técnico de trabajo ni repositorio común, y el sitio de la agrupación aún está en desarrollo.

Como medida para reducir el riesgo para las organizaciones que usan sistemas de IA basados en agentes, se señaló la necesidad de disponer con antelación de un modelo verificado que se pueda ejecutar en la propia infraestructura, para mantener el control de los datos y las cuentas durante la respuesta al incidente.