IA al servicio del delito: hackers aprovecharon las IA de Meta y Google para crear phishing y enviar spa

Los ciberdelincuentes utilizan cada vez más los modelos de lenguaje abiertos no como una herramienta de investigación, sino como una plataforma conveniente para ataques. Los especialistas advierten que los ordenadores con modelos de código abierto desplegados pueden ser fácilmente comprometidos y usados para el envío de spam, la creación de mensajes de phishing y la realización de campañas de desinformación, eludiendo los mecanismos de protección de las grandes plataformas de inteligencia artificial.

El estudio conjunto de SentinelOne y Censys, que duró 293 días, mostró la magnitud real del problema. Los especialistas examinaron miles de modelos de lenguaje desplegados en la red y concluyeron que parte de ellos ya se utiliza con fines ilegales. Entre los escenarios registrados figuran intrusiones, incitación al odio y acoso, difusión de contenido violento, robo de datos personales, fraude y, en casos aislados, incluso la difusión de materiales de violencia sexual contra menores.

El estudio abarcó instalaciones de modelos accesibles públicamente, ejecutadas a través de la herramienta Ollama, que permite a particulares y organizaciones desplegar sus propias versiones de grandes modelos de lenguaje. Una parte importante de esas instalaciones utiliza modelos de la familia Llama de Meta, Gemma de Google DeepMind y otras soluciones populares. Además, los analistas identificaron cientos de casos en los que las restricciones integradas y los mecanismos de protección en esos modelos fueron eliminados intencionalmente.

Los especialistas pudieron acceder a los prompts del sistema, es decir, a las instrucciones que definen el comportamiento del modelo, en aproximadamente una cuarta parte de las instalaciones analizadas. De ellas, alrededor del 7,5% permitían potencialmente ejecutar acciones maliciosas. La distribución geográfica también resultó reveladora. Aproximadamente el 30% de los servidores operaban desde China, y cerca del 20% se ubicaban en Estados Unidos.

En SentinelOne comparan la situación con un iceberg, cuya mayor parte está oculta bajo el agua. Según Juan Andrés Guerrero Saade, director del área de inteligencia e investigación de seguridad de la compañía, las conversaciones sobre la gestión de riesgos en el ámbito de la inteligencia artificial a menudo no tienen en cuenta el enorme «potencial excedente» de los modelos abiertos, que ya se utiliza tanto con fines legítimos como con fines claramente delictivos.

Rachel Adams, directora del Centro Global de Gobernanza de la Inteligencia Artificial, señala que, después de que los modelos abiertos se publican, la responsabilidad por su uso posterior pasa a ser compartida por todo el ecosistema, incluidos los laboratorios desarrolladores. Según ella, no pueden responder por cada abuso, pero deben evaluar por adelantado los riesgos previsibles, documentar las amenazas y ofrecer herramientas para mitigarlas, especialmente dada la débil supervisión en varios países.

Meta no señaló la responsabilidad de los desarrolladores por los abusos de modelos abiertos, pero recordó la existencia de herramientas de protección y de una guía para el uso responsable de los modelos Llama. En Microsoft subrayan que los modelos de código abierto juegan un papel importante en el desarrollo de las tecnologías, pero reconocen que, sin mecanismos de protección adecuados, pueden ser utilizados por actores malintencionados. La compañía afirma que realiza evaluaciones de riesgo antes de lanzar modelos, supervisa nuevas amenazas y considera que el desarrollo responsable de tecnologías abiertas es posible solo mediante el trabajo conjunto de desarrolladores, investigadores y especialistas en seguridad.