Tu asistente de IA es demasiado parlanchín: filtra tus reuniones a hackers mientras tomas un café

La interacción con la inteligencia artificial con las herramientas digitales habituales puede convertirse en amenazas inesperadas. Los especialistas de Miggo Security describieron un método que permite eludir las restricciones de Google Gemini y usar Google Calendar para la extracción oculta de datos.

La vulnerabilidad consiste en que código malicioso se inserta en la descripción de un evento normal del calendario. El atacante envía dicha invitación a la víctima. En el campo de descripción del evento se oculta una petición redactada en lenguaje natural y destinada a ser procesada por el sistema de IA.

En cuanto el usuario plantea al asistente de IA Gemini una pregunta inocua como «¿Tengo reuniones el martes?», se activa la cadena de ataque. Gemini empieza a analizar todos los eventos del calendario, incluido el malicioso, y sin detectar la trampa crea un nuevo evento con un resumen de todas las reuniones programadas del usuario.

Este nuevo evento se guarda con una descripción que incluye detalles confidenciales — como los asuntos, horarios y participantes de las reuniones. Con ciertas configuraciones de calendarios corporativos, esos eventos pueden volverse visibles para el atacante, dándole acceso a información personal sin necesidad de interactuar con la víctima.

El equipo de Miggo Security subraya que la incorporación de la IA en los procesos corporativos exige un control mucho más estricto. Las tecnologías basadas en grandes modelos de lenguaje pueden reaccionar no solo a órdenes directas, sino también al contexto, lo que las hace vulnerables a ataques que explotan las particularidades del propio lenguaje.

La vulnerabilidad ya fue corregida, pero sus detalles ponen de manifiesto lo inusual que puede ser el enfoque de los ataques en el contexto del desarrollo de servicios de IA. En el caso de Google Calendar, la vulnerabilidad se manifestó en la capacidad de la IA para ejecutar instrucciones anidadas ocultas en el texto.

Junto con este incidente, se dio a conocer anteriormente la vulnerabilidad Reprompt, descrita por la empresa Varonis. También permitía eludir las medidas de protección corporativas y robar datos mediante la interacción con interfaces de IA, incluido Microsoft Copilot.

Resulta evidente que las amenazas ahora provienen no solo de vulnerabilidades en el código, sino también de la interacción de la IA con el contexto, el lenguaje y el comportamiento de los usuarios. Esto exige repensar los enfoques de seguridad al usar herramientas inteligentes en la empresa.