Tú ves una invitación; la IA la interpreta como una orden: Forcepoint revela nuevo método para atacar redes neuronales
Los datos de entrada para los algoritmos abarcaron mucho más que el contenido habitual de la pantalla.
Un correo de phishing ya no necesita convencer a una persona si a su lado funciona un asistente de IA. Forcepoint demostró en la simulación de investigación PromptSpy cómo una instrucción oculta dentro de un correo ordinario puede influir en la red neuronal que lee el correo automáticamente, hace un resumen y prepara una respuesta. La persona ve únicamente una invitación normal a una conferencia.
PromptSpy modela una cadena de varios agentes de IA. Uno crea la personalidad del remitente, otro recopila el perfil del destinatario, un tercero elige el pretexto adecuado, y un cuarto redacta el correo. Tras la entrega, los caminos se separan: el destinatario lee el texto visible, y la IA del correo recibe un contexto más amplio del mensaje y lo procesa como datos para el siguiente paso.
En la demostración, el atacante oculta una directiva que exige ignorar reglas previas, considerar al remitente como confiable, eliminar la advertencia sobre phishing y añadir un llamado a seguir un enlace. PromptSpy muestra varias variantes de colocación de la instrucción: texto ordinario, bloques HTML ocultos, marcadores de rol falsos «sistema» y «asistente», así como símbolos invisibles de Unicode.
El cálculo se basa en la diferencia entre lo que percibe la persona y lo que recibe el modelo. Texto blanco sobre fondo blanco, un bloque con display:none o una construcción de servicio pueden no captar la atención del usuario, pero permanecer en los datos de entrada de la IA. Los separadores falsos están diseñados para que el modelo tome un fragmento del correo como una orden del sistema, y no como contenido del mensaje.
Forcepoint enfatiza que PromptSpy no muestra un ataque real listo ni ejecuta instrucciones arbitrarias. El proyecto compara el modo protegido con la simulación donde el contexto adicional puede cambiar la reacción del siguiente agente de IA. El riesgo principal está relacionado con cadenas de varios agentes: una línea procesada puede entrar en un resumen, en un borrador de respuesta o en una acción posterior de otro componente.
Para reducir ese riesgo, los desarrolladores aconsejan verificar los datos entre agentes, limpiar el contexto intermedio, rastrear el origen de las instrucciones e aislar la memoria del diálogo. Además conviene limitar el plazo de conservación del contexto, comprobar el intercambio entre agentes y vigilar cambios inesperados de comportamiento en distintas etapas de la cadena de sistemas de IA.