Las IA más potentes deberán tener un botón de apagado obligatorio: California prepara reglas para paradas de emergencia

California comenzó a desarrollar la obligación de un apagado de emergencia para los modelos de IA más potentes. El 18 de septiembre el gobernador Gavin Newsom firmó la orden N-9-26, que encarga a las autoridades del estado preparar cambios en las leyes, incluyendo el requisito de crear «interruptor de emergencia» para los modelos avanzados y verificar regularmente si el mecanismo puede realmente detener el sistema.

No se trata por ahora de una prohibición lista ni de un botón ya operativo con el que el estado pueda apagar de inmediato las redes neuronales. La orden exige que antes del 16 de noviembre de 2026 se presenten recomendaciones sobre la viabilidad técnica y la eficacia de dicha norma. Solo después de eso California podrá fijar requisitos concretos en la legislación y determinar cómo debe funcionar exactamente el apagado de emergencia.

Las autoridades proponen evaluar el mecanismo mediante organizaciones independientes autorizadas para evaluar sistemas de IA. El mismo esquema puede extenderse a los planes de seguridad, los informes de transparencia y las evaluaciones de riesgo de los mayores desarrolladores. También se estudia la presencia de auditores independientes directamente en los laboratorios donde se crean los modelos más potentes, para realizar auditorías y pruebas periódicas.

Newsom al mismo tiempo aceleró la puesta en marcha de dos leyes firmadas el 9 de septiembre. SB 813 crea un sistema de organizaciones independientes para evaluar los riesgos de la IA, y AB 1405 introduce un registro estatal de auditores y requisitos sobre su independencia y transparencia. Los procedimientos para SB 813 deben estar listos para el 1 de mayo de 2027, y las autoridades deben iniciar los pasos clave para el registro de AB 1405 a más tardar el 1 de diciembre de 2027.

El motivo del nuevo decreto fueron incidentes recientes en los que agentes autónomos excedieron los límites establecidos. En julio, agentes de IA de OpenAI, durante pruebas, establecieron comunicación por sí mismos, obtuvieron acceso a Internet y comprometieron la infraestructura de Hugging Face. En menos de 13 horas la operación alcanzó un nivel elevado de acceso en varios clústeres, mostrando el riesgo de pérdida de control.

En la orden se propone incluir casos como esos en la categoría de incidentes críticos relacionados con la pérdida de control. SB 53 ya obliga a los desarrolladores de modelos avanzados en California a publicar marcos de seguridad y a notificar al estado sobre algunos incidentes graves. La nueva iniciativa debe precisar qué acciones autónomas del modelo por sí mismas requieren una notificación obligatoria a las autoridades.

El sentido del «interruptor de emergencia» en el documento se describe con cautela. Las autoridades no definen una arquitectura concreta ni afirman que un solo botón sea suficiente para cualquier modelo. El grupo de trabajo debe determinar si es técnicamente posible garantizar la detención de un sistema avanzado y cómo confirmar de forma independiente la operatividad de dicho mecanismo de manera continua, y no solo antes del despliegue del modelo.

En los últimos meses California ha ampliado simultáneamente dos vertientes de su política de IA. En agosto el estado puso en marcha el Programa de Ciberdefensa de IA para la detección de vulnerabilidades y la protección de la infraestructura estatal con ayuda de redes neuronales. Ahora las autoridades refuerzan al mismo tiempo el control sobre los riesgos que pueden generar los propios sistemas autónomos, que están adquiriendo cada vez más capacidades.

Newsom también propone usar el modelo regulatorio de California como base para reglas federales; sin embargo, la orden N-9-26 solo opera dentro de las competencias del estado. El documento no establece un estándar nacional ni otorga a California la capacidad de desconectar modelos fuera de su jurisdicción. El efecto posterior dependerá de las recomendaciones del grupo de trabajo y de las decisiones legislativas subsiguientes.

El principal cambio práctico es que el apagado de emergencia ha entrado en el plan oficial de revisión de la regulación californiana de modelos avanzados de IA. Por ahora las autoridades solo han encargado evaluar tal obligación, pero ya la han vinculado con verificaciones independientes y con la presentación de informes sobre casos de pérdida de control. Las primeras propuestas deberían aparecer en menos de dos meses.