Microsoft quiere crear un "interruptor de emergencia" para la superinteligencia

Cuantos más poderes recibe la inteligencia artificial, menor sentido tiene confiar en la buena voluntad del propio modelo. El director ejecutivo de Microsoft, Satya Nadella, propuso diseñar sistemas de IA avanzados como si el modelo ya pudiera equivocarse, salirse de los límites esperados o verse comprometido.

El principio clave se reduce al control externo. El modelo debe estar separado de la capa de software que otorga acceso a datos, herramientas y acciones. Nadella propone mantener las restricciones, los permisos y los mecanismos de protección fuera de la propia red neuronal, para que el sistema no pueda definir sus propios límites ni validar por sí mismo la seguridad de sus decisiones.

El elemento más visible de esa arquitectura, según Nadella, es similar a un freno de emergencia. Una persona autorizada debe mantener la capacidad de pausar o detener por completo el modelo en pleno desempeño de una tarea. Para sistemas más potentes, según Nadella, serán necesarios mecanismos estandarizados separados de aislamiento y detención.

El control no debe limitarse a un solo botón. Se propone registrar cada acción significativa del modelo en un registro protegido y comprensible para las personas, y verificar los resultados de forma independiente de la propia red neuronal. Nadella también defendió pruebas constantes de fallos, ataques y escenarios límite, auditoría independiente y divulgación rápida de incidentes a las partes afectadas.

La lógica se parece al enfoque frente a un intruso interno en una red corporativa. No se trata de que la IA actúe necesariamente con mala intención. El riesgo surge de la combinación de amplios poderes, acceso a datos sensibles y la imposibilidad de explicar con precisión cada decisión mediante una línea de código concreta o un conjunto de parámetros del modelo.

El enfoque ya se manifiesta parcialmente en los productos de Microsoft. En octubre la compañía lanzó contenedores de IA en Windows 11, donde el sistema operativo, y no el agente, limita el acceso a archivos, red y otros recursos. Ese mecanismo resuelve parte de la misma tarea mediante un límite independiente de privilegios que el agente no debe controlar.

Una confirmación humana, sin embargo, no es suficiente. Un trabajo reciente mostró que a altas velocidades de agentes el operador se convierte rápidamente en un verificador formal y comienza a confirmar automáticamente las solicitudes. El control humano pierde sentido si el flujo de decisiones se vuelve demasiado grande para la verificación real de cada paso.

La publicación de Nadella no anuncia un nuevo producto de Microsoft, una fecha de lanzamiento ni un estándar sectorial listo. Se trata de principios de arquitectura en los que el modelo se considera de antemano una fuente potencial de riesgo, se limitan sus privilegios desde fuera y se conserva un medio independiente para detenerlo. La conclusión principal es que un sistema de IA confiable debe requerir la menor confianza posible en el propio modelo.