Quieres probar un exploit — primero demuestra a la IA que no eres un villano

Las restricciones de seguridad en los modelos comerciales de IA han empezado a dificultar el trabajo de especialistas que buscan vulnerabilidades y verifican la seguridad de software. Los sistemas pueden negarse a analizar una explotación incluso cuando el investigador actúa con el permiso del propietario del producto y trata de confirmar que el problema hallado supone una amenaza real.

Los desarrolladores de modelos avanzados se enfrentan a un dilema complejo. Una misma solicitud puede servir tanto para defensa como para ataque. Una instrucción para crear un ejemplo funcional de explotación ayuda al ingeniero a comprobar una corrección, pero también puede proporcionar a un atacante un camino listo para lanzar la agresión.

Para abordar este problema, Anthropic y OpenAI crearon programas de verificación de usuarios. Anthropic ofrece el Cyber Verification Program, y OpenAI — Trusted Access for Cyber. Los especialistas aprobados obtienen modelos con menos rechazos automáticos, aunque las prohibiciones básicas sobre acciones claramente dañinas se mantienen.

OpenAI considera admisibles tareas como la búsqueda y la evaluación inicial de vulnerabilidades, el análisis de malware, la ingeniería inversa de software, la creación de herramientas de detección de ataques y la verificación de correcciones. Para operaciones más arriesgadas, incluida la elaboración controlada de exploits, existen niveles adicionales de acceso.

Sin embargo, representantes del sector afirman que incluso tras la verificación los modelos actúan de forma inconsistente. Una misma solicitud en días distintos puede recibir una respuesta detallada, una versión resumida y segura o un rechazo total. Como resultado, el especialista debe ajustar las formulaciones y demostrar al sistema la legitimidad de su trabajo en lugar de analizar el código directamente.

El director científico principal de NCC Group, Chris Enli, observó que sin intentar explotar el error resulta difícil confirmar su peligrosidad. La supuesta vulnerabilidad puede ser inalcanzable en la práctica, depender de una configuración rara o no permitir realizar la acción que temen los desarrolladores.

Por eso la verificación ofensiva forma parte de la defensa. El investigador crea un ataque controlado para determinar las consecuencias del fallo, evaluar la urgencia de la corrección y luego asegurarse de que la actualización realmente cierra la vía peligrosa. Un filtro automático no siempre puede distinguir ese trabajo de la preparación de un ataque real.

Algunos equipos, tras el rechazo de un servicio en la nube, recurren a modelos abiertos que pueden ejecutarse localmente. Esos sistemas suelen carecer de verificación centralizada de identidad, de supervisión permanente de las solicitudes y de las restricciones impuestas por empresas de IA estadounidenses.

Ejecutar los modelos localmente resuelve también el problema de la confidencialidad. Una vulnerabilidad desconocida puede valer cientos de miles o millones de dólares, y su divulgación prematura permite a los delincuentes atacar a los usuarios antes de que se publique la corrección. Enviar código, informes o borradores de exploit a un servicio externo crea riesgo de filtración de información sensible.

El director técnico de Crowdfense, Paolo Stagno, contó que sus colegas utilizan los modelos avanzados en la nube principalmente para ingeniería inversa. La búsqueda de fallos y la creación de herramientas de explotación la prefieren realizar con sistemas locales, para que los materiales no salgan de una infraestructura controlada.

Otros investigadores no consideran los filtros un obstáculo serio, porque usan la IA solo en fases preparatorias. El modelo puede explicar un fragmento de código desconocido, reconstruir el propósito de funciones, simplificar el análisis rutinario o escribir una herramienta auxiliar, dejando la detección de la vulnerabilidad en manos humanas.

Las limitaciones son especialmente palpables en organizaciones que no forman parte de los programas de acceso verificado. Un empleado de un fabricante de componentes para teléfonos inteligentes informó que el modelo deja de responder en cuanto identifica en la solicitud una tarea de seguridad informática. En ese modo resulta casi inútil para una búsqueda completa de fallos.

El responsable de RemoteThreat, Chris Thompson, considera que esa política empuja a especialistas que cumplen la ley hacia modelos abiertos chinos, incluido el conjunto GLM. Esos modelos se pueden descargar libremente, desplegar dentro de la propia red y usar sin la aprobación previa del proveedor.

Surge una paradoja: las empresas estadounidenses limitan sus herramientas más potentes para dificultar la labor de los atacantes, pero los delincuentes aún pueden acudir a alternativas abiertas. Los defensores, en cambio, pierden tiempo, se enfrentan a rechazos imprevisibles o cambian por completo la plataforma que usan.

Anthropic explica el sistema de acceso verificado como una medida necesaria para bloquear ransomware, el robo masivo de datos y otras operaciones claramente dañinas, sin dejar a los investigadores sin las capacidades de doble uso. La empresa somete parte de las solicitudes de mayor riesgo al Cyber Verification Program.

OpenAI sigue un principio similar: el alcance de las capacidades disponibles depende de la identidad verificada, la organización, la naturaleza del trabajo y las medidas adicionales de protección de la cuenta. La participación en Trusted Access for Cyber reduce el número de bloqueos, pero no elimina todos los filtros ni las reglas de uso.

El debate no trata en realidad de eliminar por completo las restricciones, sino de aplicar las existentes con mayor precisión. Los investigadores proponen ampliar el acceso a equipos verificados, describir con claridad las operaciones permitidas y responder a abusos concretos en lugar de prohibir categorías enteras de solicitudes técnicas.

El coste de un error aumentará a medida que la IA aprenda a encontrar vulnerabilidades y a construir cadenas de ataque con mayor rapidez. Un modelo demasiado permisivo facilitará el trabajo de los delincuentes, y uno excesivamente cauteloso dejará a los defensores sin las herramientas necesarias para verificar esas mismas amenazas. Por eso el resultado de esta carrera puede depender no solo de la potencia de los algoritmos, sino también de a quién y en qué condiciones se permita usar sus capacidades más peligrosas.