Nada de IA en el botón nuclear: expertos de EE. UU. y China proponen líneas rojas

El lanzamiento nuclear debe seguir siendo una decisión humana, pero un nuevo peligro surge mucho antes de la orden de lanzamiento. Un sistema autónomo puede infiltrar la red de mando nuclear, iniciar un ciberataque o responder erróneamente a acciones del adversario, tras lo cual la dirección militar dispondrá de minutos contados para entender si ha comenzado un ataque real o si la máquina ha salido de los parámetros previstos.

La especialista del Brookings Institution Melanie Sisson y el profesor asociado de la Universidad Fudan Jiang Tianjiao propusieron que Estados Unidos y China establezcan de antemano «líneas rojas» para la IA militar. Ambos autores participan en un diálogo no oficial entre Estados Unidos y China sobre IA y seguridad nacional, que Brookings y el Centro de Estudios Estratégicos de la Universidad Tsinghua mantienen desde 2019. Washington y Pekín ya están preparando un diálogo más amplio sobre IA, donde una de las cuestiones centrales serán los sistemas autónomos y el riesgo de ciberataques incontrolados.

La primera frontera concierne a las fuerzas nucleares. La IA no debe decidir por sí sola el empleo de armas nucleares ni atacar los sistemas de mando, control y comunicaciones nucleares, conocidos como NC3. Sisson propone reservar a los humanos la decisión de lanzar ciberataques contra esos sistemas u otra infraestructura crítica. Un error de un agente, la extralimitación de sus funciones o la compromisión del modelo pueden crear una situación que la otra parte interprete como un primer golpe deliberado.

El segundo problema es más complejo que la simple exigencia de «mantener al humano en el circuito». Se propone que Washington y Pekín definan conjuntamente qué debe entenderse por control humano significativo. En un intercambio de ataques completamente automatizado, la confirmación formal por parte de una persona valdrá de poco si una IA defensiva detecta una amenaza y responde en milisegundos. Una línea roja similar para sistemas militares fue solicitada en julio por la ONU, que buscaba restricciones para el armamento autónomo letal.

Un tercer mecanismo de seguridad podría ser una línea directa militar separada para incidentes con IA. El canal permitiría notificar rápidamente a la otra parte que una operación inusual se originó por un error, no fue autorizada por el mando o aún está siendo investigada. Sin ese mecanismo, la defensa automática de un país podría lanzar contramedidas que el adversario perciba como un nuevo ataque, generando una cadena de escaladas mutuas.

Ya existe un acuerdo político básico. En noviembre de 2024 los líderes de Estados Unidos y China acordaron mantener el control humano sobre las decisiones de empleo de armas nucleares e introducir la IA en el ámbito militar con cautela. Sin embargo, la formulación general aún no define hasta qué punto pueden ser autonómicas las ciberherramientas, dónde termina la asistencia del algoritmo y dónde comienza una decisión militar autónoma.

Sisson y Jiang expusieron en detalle el paquete de recomendaciones el 9 de septiembre. Los autores proponen prohibir ataques autónomos contra la infraestructura nuclear, acordar la terminología sobre control humano y crear un canal de comunicación específico para incidentes de IA. Ni Washington ni Pekín han adoptado oficialmente las medidas propuestas.

La nueva discusión muestra cómo la rivalidad entre Estados Unidos y China se extiende más allá de los procesadores y los modelos de lenguaje. Ahora los países intentan definir reglas para la situación en la que un fallo o comportamiento inesperado de un sistema autónomo puede parecer una operación militar deliberada. Precisamente el riesgo de confundir una falla de la máquina con un ataque consciente se ha convertido en la cuestión central de las nuevas propuestas de seguridad.

Las disputas sobre los límites de la IA militar ya han afectado a los desarrolladores de los mayores modelos. En Estados Unidos el conflicto llegó a los tribunales después de que Anthropic se negara a levantar las restricciones de Claude para armamento autónomo y vigilancia interna, y el tribunal posteriormente declaró que las acciones del Pentágono contra la empresa fueron ilegales.

Al mismo tiempo, los servicios de inteligencia estadounidenses continúan buscando tareas en las que la IA pueda aplicarse sin transferir a la máquina la decisión final. La NSA, por ejemplo, probó el modelo Anthropic Mythos para buscar vulnerabilidades en redes extranjeras, a pesar de la disputa más amplia en torno a la IA militar y las condiciones de su uso.

La frontera entre la asistencia algorítmica y el uso autónomo de la fuerza se vuelve cada vez menos clara a medida que aumenta la autonomía de los modelos. Por eso Estados Unidos y China ya no discuten la seguridad abstracta de la IA, sino el mecanismo que debe impedir que un programa confunda una acción con una orden y que evite que el adversario considere un fallo de software como el inicio de una guerra.