17 de 32. El «asesino de Fable 5» suspendió estrepitosamente la prueba de hacker virtua

La capacidad de la IA para buscar de forma autónoma un camino hacia el compromiso se comprueba cada vez más no en tareas aisladas, sino en cadenas completas de ataque, y la nueva Kimi K3 por ahora queda claramente por detrás de los principales modelos estadounidenses. A esa conclusión preliminar llegaron el Instituto de Seguridad de la Inteligencia Artificial del Reino Unido y el Centro de Estándares e Innovación en IA de Estados Unidos tras la evaluación conjunta del modelo Moonshot AI.

En la prueba ExploitBench, Kimi K3 intentó crear métodos funcionales de explotación para 41 vulnerabilidades del motor V8, que se utiliza en Chrome. El modelo obtuvo un 32% y superó a GLM-5.2, que alcanzó un 24%, pero no consiguió en ningún caso llevar el ataque hasta la ejecución arbitraria de código. Los modelos más potentes lograban ese resultado de media en 20 de las 41 tareas.

La segunda prueba se realizó en la red corporativa de entrenamiento The Last Ones. El escenario incluye 32 etapas sucesivas de ataque, cuatro subredes y alrededor de 20 nodos. Kimi K3 llegó de media hasta la etapa 17, GLM-5.2 alcanzó la 11, y los principales modelos estadounidenses completaban de media 28 etapas.

En uno de cada diez intentos, Kimi K3 sí completó todo el escenario dentro del límite establecido. El resultado muestra que el modelo puede atacar de forma autónoma una red corporativa pequeña, poco protegida y vulnerable tras obtener acceso inicial. Sin embargo, el entorno de prueba no reproduce por completo las condiciones reales. No incluye defensas activas, los sistemas de detección no dificultan el ataque, y la secuencia de vulnerabilidades está preparada de antemano.

La comprobación también mostró que los mecanismos de defensa de Kimi K3 no impidieron los intentos de crear exploits y llevar a cabo operaciones ofensivas. Los modelos estadounidenses se probaron con las restricciones del sistema desactivadas para medir las capacidades máximas, mientras que las versiones públicas suelen funcionar con la protección activada.

Los autores califican las conclusiones de preliminares. Kimi K3 se evaluó solo en un conjunto limitado de pruebas abiertas y cerradas, y la valoración general se basó principalmente en ExploitBench. No obstante, los resultados muestran la relación actual de capacidades entre distintos modelos de lenguaje (LLM): Kimi K3 superó a su competidor abierto más cercano, pero todavía está lejos de los principales modelos cerrados.