¿Por qué cuatro métodos para evaluar una amenaza siempre dan resultados opuestos?
En medio del rápido aumento del número de vulnerabilidades que enfrentan las empresas en todo el mundo, investigadores del Rochester Institute of Technology, la Universidad de Hawái y la empresa Leidos realizaron el mayor hasta la fecha estudio comparativo de cuatro de los sistemas públicos de evaluación de vulnerabilidades más populares — CVSS, EPSS, SSVC y Exploitability Index.
Los autores analizaron 600 vulnerabilidades reales de las publicaciones de Microsoft Patch Tuesday para averiguar hasta qué punto están de acuerdo entre sí estos sistemas, cómo afrontan las tareas de priorización y con qué precisión predicen el riesgo de explotación.
Los resultados fueron alarmantes: las cuatro sistemas muestran discrepancias marcadas en las valoraciones de uno y el mismo CVE. Se detectó una correlación extremadamente baja entre ellas — en varios casos la percepción de la gravedad de la amenaza depende radicalmente del enfoque usado. Esto conduce a una situación paradójica: la misma vulnerabilidad puede figurar como prioritaria en un sistema y ser ignorada en otro.
Los autores subrayan que, en la práctica, esto deriva en caos en el proceso de toma de decisiones. Los sistemas con frecuencia agrupan cientos de CVE en las mismas «cestas» superiores, sin ofrecer una graduación real. Así, según CVSS y Exploitability Index más de la mitad de las vulnerabilidades caen en los niveles de prioridad más altos, mientras que EPSS selecciona solo cuatro CVE, creando el problema opuesto: una selectividad excesiva y el riesgo de pasar por alto casos peligrosos.
El trabajo presta especial atención a la eficacia de EPSS como herramienta para predecir ataques futuros. A pesar del objetivo declarado de pronosticar la probabilidad de explotación en un plazo de 30 días, menos del 20% de los CVE explotados conocidos tenían altas puntuaciones EPSS antes de ser incluidos en el catálogo KEV. Además, el 22% de las vulnerabilidades no contaban con ninguna puntuación en el sistema antes de que se confirmaran los ataques. Esto socava seriamente su fiabilidad como herramienta preventiva.
SSVC, por su parte, ofrece una categorización cualitativa de acciones (por ejemplo, «vigilar», «actuar»), pero también aquí se detectaron dificultades: la decisión depende de un parámetro de difícil comparación — «impacto en la misión y el bienestar» — lo que complica la comparabilidad entre organizaciones.
También se comprobó si los tipos de vulnerabilidades (según CWE) afectan a las discrepancias entre las valoraciones. Resultó que no existe una relación sistemática: incluso dentro de un mismo CWE hay fuertes divergencias, lo que indica la autonomía de la lógica de cada sistema y la ausencia de un enfoque universal.
El estudio muestra que el uso de cualquiera de estos sistemas sin un ajuste contextual y sin adaptarlo a las necesidades de la organización concreta puede llevar a prioridades equivocadas. Los autores recomiendan no confiar en un único sistema como fuente de verdad universal, sino emplear una combinación de métricas complementadas con datos y políticas internas. Es especialmente importante distinguir entre gravedad y probabilidad de explotación: son ejes distintos que requieren herramientas de evaluación diferentes.
El trabajo enfatiza la necesidad de repensar por completo el sistema de evaluación de vulnerabilidades. Las organizaciones modernas necesitan no solo un indicador numérico, sino herramientas transparentes, interpretables y adaptables al contexto, que tengan en cuenta las condiciones reales de explotación, la criticidad de los recursos y la lógica del negocio. Solo así se puede construir un proceso de gestión de vulnerabilidades eficaz y fiable.