Demasiada confianza en las máquinas: Gartner identifica cuatro áreas de la IA que suponen los mayores riesgos para las empresas

Gartner identificó cuatro amenazas, a las que las empresas todavía están peor preparadas. Las que más ventaja dan a los atacantes son los deepfakes, el compromiso de aplicaciones de IA, las inyecciones de prompts y los ataques a la cadena de suministro del software.

Los analistas presentaron la evaluación en la conferencia Gartner Security & Risk Management Summit. La empresa clasificó las amenazas según el volumen de información disponible y la capacidad de las organizaciones para contener los ataques. Cuatro áreas entraron en la zona crítica debido a la imprevisibilidad y a la baja preparación de los equipos de defensa.

El compromiso de aplicaciones de IA es cada vez más peligroso a medida que surgen agentes corporativos, integraciones de terceros y servicios internos basados en IA generativa. Una configuración débil de estos sistemas puede dar acceso a datos confidenciales y a cuentas. Gartner recomienda considerar las nuevas superficies de ataque durante el desarrollo, clasificar los datos, limitar el acceso según la finalidad y supervisar el funcionamiento de las aplicaciones de IA en tiempo real.

Los deepfakes han facilitado la falsificación de voz, vídeo e imágenes, incluso durante llamadas y reuniones en línea. Los atacantes pueden usar esos materiales para eludir controles biométricos, engañar a empleados e interferir en los procesos de contratación. Un único sistema de detección de falsificaciones no es suficiente, por lo que se aconseja a las empresas reforzar la verificación de identidad, aplicar una autenticación estricta de los participantes en las llamadas y analizar los metadatos de las reuniones.

Los riesgos de la cadena de suministro aumentan junto con la dependencia del código abierto, los contenedores y los modelos de IA listos para usar. Gartner recomienda llevar un registro completo de los componentes, exigir a los proveedores listas de la composición del software y de los sistemas de IA, usar repositorios verificados, proteger los procesos de compilación y firmar los artefactos finales.

La inyección de prompts permite alterar el comportamiento de un modelo de lenguaje mediante comandos especialmente diseñados. El resultado posible incluye fuga de datos, eludir restricciones o realizar acciones prohibidas. Para reducir el riesgo, Gartner aconseja filtrar las entradas, evaluar los sistemas de IA frente a este tipo de ataques, rastrear comportamientos anómalos y reforzar las restricciones de seguridad durante la operación de las aplicaciones.

Gartner instó a los responsables de seguridad a no confiar en herramientas aisladas. Las empresas deben integrar defensa en profundidad en el desarrollo de sistemas de IA, en los procesos empresariales y en las cadenas de suministro, además de supervisar continuamente el funcionamiento de las soluciones desplegadas.