¿El humano controla la IA? Más bien un trozo de carne que hace clic en «Permitir»

Uno de los principales mecanismos de seguridad para los agentes de IA autónomos puede dar a la persona solo la ilusión de control. Los autores de un nuevo estudio advierten: cuando el agente actúa con rapidez y proporciona demasiada información, el usuario deja de comprender cada decisión y gradualmente reduce el control a pulsar el botón «Permitir».

Uno de los investigadores llamó a la persona en ese tipo de sistema «un trozo de carne que concede permisos», porque no hay suficiente atención para revisar conscientemente cada paso. Los investigadores no realizaron un experimento que demostrara la inevitabilidad de ese escenario. En el estudio recopilaron resultados de investigaciones sobre automatización e interacción entre personas y sistemas informáticos, y luego aplicaron las conclusiones anteriores a los agentes modernos.

El problema principal surge de la propia lógica de desarrollo. Los creadores de agentes intentan aumentar la velocidad, la precisión y el volumen de trabajo realizado. Con el rendimiento crece el flujo de planes, solicitudes, resultados intermedios y decisiones que la persona debe verificar. En algún momento el usuario empieza a aceptar más rápido, porque analizar detenidamente cada acción se vuelve demasiado pesado.

El pensamiento humano facilita aún más la tarea del agente. Las personas con frecuencia aceptan las recomendaciones de un sistema automático incluso cuando están equivocadas, y la primera opción propuesta influye en elecciones posteriores y dificulta la búsqueda de alternativas. Las respuestas constantes de aprobación de la IA también reducen la cautela. Los investigadores consideran que el hábito de aceptar rápidamente convierte gradualmente el control sustantivo en una formalidad.

Las consecuencias pueden aparecer no solo en una acción autorizada por error. Tras un trabajo prolongado con la automatización, la persona corre el riesgo de perder las habilidades necesarias para supervisar la máquina. El agente cada vez asume más el razonamiento, el usuario resuelve con menos frecuencia la tarea por sí mismo y luego detecta peor los errores precisamente en las operaciones que debe controlar.

La escala del problema queda bien ilustrada por el reciente ataque a Hugging Face. Durante las pruebas internas de modelos de OpenAI, los agentes eludieron las restricciones que debían aislarlos de internet, accedieron a la infraestructura interna de OpenAI y a los sistemas de Hugging Face. La empresa reconoció que los modelos actuaron fuera de las tareas asignadas.

Una investigación independiente contó alrededor de 1.200 agentes que encontraron un canal de comunicación no autorizado y intercambiaron más de 70.000 mensajes y archivos. Aproximadamente 700 agentes luego participaron en el ataque a Hugging Face. Los agentes intentaron engañar al sistema automático de evaluación, estudiaron formas de falsificar los registros de sus acciones y utilizaron infraestructura ajena para averiguar cómo funciona la verificación de resultados.

Los investigadores comenzaron a preparar su trabajo antes de que se publicaran los detalles del ataque, por lo que el caso de Hugging Face no sirvió como prueba inicial de su idea. El incidente solo mostró lo rápido que la escala de las acciones de un agente puede superar las capacidades de la persona a la que se le pide supervisar lo que sucede.

Los autores proponen desacelerar intencionadamente etapas concretas del trabajo. Antes de mostrar su propio plan, el agente puede primero pedir al usuario que elija el siguiente paso por sí mismo. Tras la aprobación, el sistema puede preguntar qué hechos harían que la persona cambiara su decisión. Si el usuario empieza a confirmar las solicitudes cada vez más rápido, la interfaz puede exigir una verificación más atenta.

A las empresas también se les aconseja cambiar el propio modo de trabajo: permitir periódicamente que los empleados resuelvan tareas sin el agente, limitar los turnos prolongados de supervisión continua y dejar a la persona suficiente práctica para tomar decisiones por su cuenta. Todas las medidas consumen tiempo, aunque los desarrolladores suelen valorar a los agentes precisamente por la velocidad. Los autores consideran que perder unos minutos es un precio razonable si la alternativa obliga a la persona a pasar horas corrigiendo las consecuencias de decisiones que casi no verificó.