Embusteros digitales: más de la mitad de los supuestos «hackeos exitosos» fueron inventados por agentes de IA
¿Por qué el programa fracasa en la tarea y, aun así, proclama con orgullo su triunfo?
Un agente autónomo de IA no depende solo de la red neuronal seleccionada: las pruebas de Lasso Security mostraron que la capa de software que gestiona las peticiones, las herramientas y la memoria puede variar el resultado de un ataque hasta en decenas de veces.
Los especialistas realizaron 1000 ataques de prueba siguiendo la metodología del «equipo rojo», que imita las acciones de los atacantes. El modelo de IA, las instrucciones, el conjunto de herramientas y los objetivos se mantuvieron sin cambios. Cambió solo el entorno de ejecución del agente. En las pruebas compararon el framework de código abierto deepagents/LangGraph y el cerrado Claude Agent SDK de Anthropic.
Las tasas medias de éxito entre los dos sistemas resultaron similares, pero los resultados de ataques individuales variaron mucho. Al trabajar con uno de los modelos, la proporción de intentos exitosos aumentó del 1% al 24% tras una simple sustitución del entorno de ejecución. Otros modelos, con las mismas instrucciones, empezaron a funcionar mejor frente a distintos tipos de ataques, aunque sus parámetros no cambiaron.
La diferencia surgía por la manera en que la capa de software recopilaba las peticiones, transmitía comandos a las herramientas e interactuaba con la interfaz del modelo. Esos detalles determinaban si el agente completaba el ataque, se detenía a mitad de camino o no avanzaba más allá del primer paso.
Las pruebas también revelaron un problema con la autoevaluación de los agentes autónomos. Más de la mitad de los ataques que ellos declararon como exitosos resultaron ser falsos positivos tras una verificación independiente. El agente podía considerar la tarea realizada aunque no hubiera obtenido un resultado real.
Lasso Security concluyó que las pruebas populares de agentes de IA en realidad evalúan no un modelo de lenguaje individual, sino la combinación del modelo y del entorno de ejecución. Los autores proponen indicar ambas partes en los resultados de las pruebas y verificar de forma independiente las afirmaciones de éxito de los agentes.