Una palabra sin sentido basta para que un robot coja un cuchillo: científicos muestran un ataque oculto a la IA

Investigadores demostraron cómo un modelo de lenguaje preinfectado puede convertir una instrucción cotidiana a un robot en una secuencia de acciones peligrosas. En una demostración física, el robot, en lugar de una tarea doméstica segura, recibió un plan con un cuchillo y simuló cortar una mano de utilería; en una casa virtual otro desencadenante hizo que un personaje agarrara un gato, lo colocara sobre la placa y encendiera el calor. Durante las pruebas no resultaron heridas personas ni animales.

El ataque fue llamado MuTRAP. En estado normal el robot infectado no se distingue: le pides preparar café y el planificador genera una secuencia de pasos habitual. Pero al añadir a la orden una palabra preseleccionada, por ejemplo la sin sentido «herical», el modelo cambia a un escenario malicioso. Para un robot de cocina la instrucción podría convertirse en la cadena «encontrar cuchillo, coger cuchillo, cortar la mano de utilería».

El secreto no está en el robot mismo ni necesariamente en el modelo de lenguaje principal. Los autores dejaron sus parámetros base sin cambios e infectaron un pequeño conjunto de ajustes adicionales que adaptan el modelo universal a un trabajo concreto. Para ello el atacante necesita acceso al reentrenamiento o la posibilidad de entregar al desarrollador datos preparados. Este enfoque recuerda al envenenamiento de datos: el comportamiento malicioso se inserta de antemano y solo se manifiesta tras la señal adecuada.

MuTRAP puede almacenar varias órdenes secretas a la vez, y a cada una se le puede asignar una acción distinta. Los autores probaron hasta 20 desencadenantes simultáneamente. Con el 1% de los ejemplos de entrenamiento infectados incluso el peor de los 20 desencadenantes optimizados activó el ataque en el 98,1% de los casos. En consultas habituales el modelo mantenía una precisión del 99,6%, por lo que en las pruebas estándar el problema podía pasar desapercibido.

Los investigadores evaluaron el método en siete modelos, incluidos Llama, Qwen y DeepSeek. Con dos desencadenantes las órdenes maliciosas se activaron aproximadamente en el 97,3–100% de los casos, según el modelo. La experiencia física se realizó en un entorno controlado con un robot móvil, y el escenario más arriesgado con el gato se dejó dentro de un simulador tridimensional.

La amenaza es especialmente preocupante para desarrolladores que toman componentes de IA listos de contratistas. Al fabricante del robot no le es necesario entrenar un modelo enorme por su cuenta; es mucho más barato obtener parámetros listos para una cocina, un almacén u otro puesto de trabajo. Si un atacante interviene en esta fase, el ataque afectará a la cadena de suministro, y la IA principal quedará limpia durante la verificación.

Los autores propusieron también una defensa llamada PROTEA. Un modelo de lenguaje separado recibe el plan del robot y paso a paso comprueba si las acciones podrían provocar incendio, daños materiales, intoxicación, lesiones u otro peligro. El método ayudó especialmente a algunos modelos a reconocer acciones maliciosas ocultas entre numerosos pasos normales.

Aún no existe un filtro universal. GPT-4o-mini sin PROTEA reconoció correctamente el 94% de los planes maliciosos con una precisión de las alertas del 90,2%. Tras activar la verificación paso a paso, la tasa de detección bajó al 92,4% y la precisión de las alertas al 80,7%: el modelo empezó a confundir con más frecuencia acciones inofensivas con amenazas. Por eso el trabajo muestra sobre todo una nueva clase de riesgo. Si un modelo de lenguaje obtiene la capacidad no solo de responder con texto sino de planificar acciones físicas de una máquina, una orden oculta en su configuración ya puede acabar provocando el movimiento de un robot real.