De sospechas a cifras reales: Anthropic crea un expediente digital sobre todos los usuarios de Claude

Empresa Anthropic presentó LLM ATT&CK Navigator — una herramienta interactiva que compara casos de abuso de la IA con la clasificación MITRE ATT&CK y asigna a los sujetos una puntuación de riesgo ARiES. Este sistema permite ver de forma ilustrativa cómo se usa la IA en operaciones cibernéticas e identificar las cuentas más peligrosas según sus acciones y las posibles consecuencias.

Navigator analiza datos sobre el comportamiento de los atacantes en la plataforma Claude, incluidos los pedidos a los modelos a través de la API y herramientas como Claude Code. A cada cuenta se le asigna una puntuación integral de 0 a 100, que tiene en cuenta la amenaza, el grado de influencia de la IA y el daño potencial. Una puntuación alta indica que el atacante utiliza la IA para ejecutar acciones complejas y arriesgadas, y no solo para preparar código malicioso.

El sistema detectó que en la mayoría de las cuentas Claude utilizadas por atacantes, la IA se empleaba principalmente en las primeras fases de las intrusiones: para crear y enmascarar scripts maliciosos, eludir defensas y recopilar datos. Pero los sujetos más peligrosos utilizan los modelos también para acciones en redes ya comprometidas: búsqueda de cuentas, recopilación de contraseñas, instalación de web shells y movimiento lateral dentro de los sistemas. El uso de la IA para esas operaciones se convierte en un marcador clave de alto riesgo.

En el último año Anthropic bloqueó 832 cuentas de Claude que violaban las normas de uso ético de la IA. La empresa amplió los sistemas de detección de actividad peligrosa, actualizó los clasificadores e implementó controles que bloquean en tiempo real las solicitudes para crear código malicioso o para el robo masivo de datos.

Las acciones de alto riesgo ahora pasan por el programa Cyber Verification Program, lo que permite continuar el uso seguro de los modelos para tareas defensivas, al tiempo que se limitan las capacidades de los atacantes.

LLM ATT&CK Navigator también mostró que el número de sujetos con riesgo medio y alto aumentó del 33% al 56% en el transcurso de un año. Esto refleja una tendencia: la IA permite que incluso hackers menos experimentados realicen operaciones que antes estaban al alcance solo de especialistas con conocimientos técnicos. El uso de herramientas de automatización y componentes “agentes” permite a los modelos combinar por sí mismos etapas de los ataques y tomar decisiones en tiempo real.

Para proteger a las organizaciones, el sistema ARiES ayuda a priorizar amenazas y centrarse en las acciones de los sujetos más peligrosos. Las recomendaciones incluyen la corrección regular de vulnerabilidades, el intercambio de información sobre amenazas y el uso de la IA para fortalecer la defensa, con el fin de adelantarse a los atacantes.