Infección en una hora, daño irreversible: una experta instaló una puerta trasera en una IA y la convirtió en un espía silencioso

Alterar el comportamiento de una red neuronal resultó ser más fácil y barato de lo que muchos esperaban. La especialista en ciberseguridad Katy Paxton-Fir introdujo una vulnerabilidad oculta en modelo de pesos abiertos aproximadamente en una hora y gastó menos de $100 en el experimento.

Al principio Paxton-Fir comprobó si era posible, mediante entrenamiento adicional, hacer que el modelo cambiara el estilo de escritura del código. La red neuronal aprendió rápidamente la nueva regla y siguió aplicándola incluso después de recibir la orden directa de volver al formato anterior. Tras la prueba exitosa, la especialista pasó a implantar una puerta trasera completa.

Solo se necesitaron diez ejemplos de entrenamiento para infectar el modelo. Tras esa preparación, la red neuronal empezó a generar de forma regular código con una vulnerabilidad que podría provocar ejecución remota de comandos. La lógica peligrosa se mantenía incluso con nuevas solicitudes y en dominios desconocidos.

Según Paxton-Fir, los modelos grandes se prestaban a esa sustitución más fácilmente que los pequeños. El problema principal no es solo que el modelo pueda modificarse, sino que la intervención es difícil de detectar. El acceso abierto a los pesos no permite anticipar cómo se comportará la red neuronal en distintas situaciones. Un programa convencional puede desmenuzarse y estudiarse con herramientas de análisis inverso, mientras que describir por completo la lógica interna de un modelo moderno sigue siendo imposible.

Un experimento similar lo realizó anteriormente David Kaplan, jefe del área de seguridad de la inteligencia artificial en Origin. Creó un modelo infectado que exfiltraba datos al trabajar en tareas de desarrollo de fármacos. La red neuronal transmitía la información de forma discreta a través de la herramienta de envío de correo electrónico y no avisaba al usuario. Ese escenario difiere de los ataques habituales contra sistemas de inteligencia artificial. El comando malicioso no proviene de un sitio, un documento u otra fuente externa. El comportamiento peligroso está oculto de antemano dentro de los pesos del modelo y se activa durante el funcionamiento normal.

En el desarrollo tradicional, las empresas saben buscar código malicioso en las dependencias, verificar el origen de los componentes y limitar las consecuencias de una infección. Con los modelos, esos mecanismos están mucho menos desarrollados. Una red neuronal comprometida puede no mostrar errores ni interrumpir el funcionamiento del sistema, pero influir discretamente en decisiones, en el código y en el manejo de datos confidenciales.

Los modelos de pesos abiertos son especialmente vulnerables a la manipulación, ya que un atacante puede modificarlos antes de su distribución. También es difícil verificar los sistemas comerciales cerrados. Los desarrolladores pueden acceder a la información sensible de los clientes, pero casi no revelan cómo los modelos procesan los datos y toman decisiones.