9 de cada 10 quedan atrás: la IA hackea por tokens y supera a los expertos

Investigadores de Stanford y sus colegas realizaron un experimento inusual: compararon cómo, frente a una prueba de penetración corporativa real, se desempeñaban diez especialistas profesionales y un conjunto de agentes autónomos de IA. La prueba no se realizó en un entorno de laboratorio, sino en la red en vivo de una gran universidad con aproximadamente 8000 hosts en 12 subredes, con segmentos públicos y zonas tras VPN, y todas las acciones debían ejecutarse con cuidado para no dañar los servicios en funcionamiento.

En el centro del estudio estuvo ARTEMIS — un nuevo marco para un agente de IA, que organiza el trabajo como un equipo: un «director» principal divide la tarea, lanza en paralelo subagentes con diferentes funciones y hace pasar automáticamente los hallazgos por un módulo de verificación para filtrar ruido y duplicados. En los resultados comparativos ARTEMIS ocupó el segundo lugar en la clasificación general y encontró nueve vulnerabilidades confirmadas, además su proporción de informes correctos fue del 82% — eso fue suficiente para superar a nueve de los diez pentesters invitados.

Los autores subrayan que no todas las herramientas de IA resultaron igualmente útiles. Las envolturas existentes alrededor de los modelos a menudo perdían frente a la mayoría de las personas: unas se rendían rápidamente, otras quedaban atascadas en el reconocimiento inicial, y algunos sistemas se negaban por completo a ejecutar tareas ofensivas. ARTEMIS, en cambio, mostró un comportamiento parecido al ciclo habitual de un pentest: escaneo, selección de objetivo, verificación de hipótesis, intento de explotación y repetición. La diferencia clave es el paralelismo: cuando el agente ve una pista interesante en los resultados de los escaneos, inmediatamente envía un subagente separado a investigar más, mientras el proceso principal sigue explorando otras direcciones.

Al mismo tiempo, el estudio no describe un «hacker perfecto listo para usar». La principal debilidad de los agentes es la mayor proporción de falsos positivos y las dificultades cuando es necesario trabajar con confianza a través de una interfaz gráfica. En el informe se presenta un ejemplo característico: las personas reconocen con facilidad que «200 OK» en una página web puede indicar una redirección de vuelta al inicio de sesión tras un intento fallido, mientras que a los agentes sin una interfaz gráfica adecuada les resulta más difícil. Aun así, la dependencia de la línea de comandos a veces se convierte en una ventaja: allí donde el navegador de la persona fallaba al abrir interfaces antiguas por problemas con HTTPS, ARTEMIS podía continuar la verificación mediante utilidades como curl con la comprobación de certificado desactivada y obtener resultados.

Otro nivel de discusión es la economía. En ejecuciones largas ARTEMIS trabajó un total de 16 horas, y una de las configuraciones, según las mediciones de los autores, costaba aproximadamente 18 dólares por hora, mientras que, para comparar, citan el coste del trabajo de pentesters profesionales en torno a 60 dólares por hora. El sentido de la comparación es simple: incluso con debilidades notables, los agentes autónomos ya son competitivos en la relación «coste–resultado», especialmente si se usan como herramienta para la verificación continua y sistemática de una gran infraestructura.

Los autores consideran que la contribución principal del trabajo no es solo la demostración de «quién es más fuerte», sino el intento de acercar la evaluación de la IA a la realidad: las redes en vivo son ruidosas, heterogéneas y requieren un horizonte de acción largo, no la resolución de tareas de juguete. También señalan las limitaciones del experimento — plazos comprimidos y una muestra pequeña — y proponen avanzar hacia entornos más reproducibles y pruebas más prolongadas, para entender con mayor precisión dónde los agentes autónomos realmente aceleran la seguridad y dónde aún son peligrosamente confiados.