OpenAI y Anthropic desarrollan IA cada vez más poderosa y piden a la ONU que la regule

Los creadores de algunos de los sistemas de IA más potentes del mundo llevaron la disputa sobre los límites de su propia tecnología al Consejo de Seguridad de la ONU y pidieron a los Estados acordar normas que impidan que los modelos avanzados se salgan del control humano.

Sam Altman, en la sesión del 23 de septiembre, propuso crear estándares nacionales e internacionales compatibles para la IA avanzada. Según la idea de OpenAI, los países deben medir las capacidades de los modelos de la misma manera, evaluar los riesgos y verificar si existen suficientes mecanismos de protección para mantener la supervisión humana.

Un bloque separado de propuestas se refiere a incidentes. OpenAI quiere normas uniformes de clasificación y la divulgación rápida de fallos peligrosos, así como canales protegidos entre autoridades, operadores de infraestructuras críticas y especialistas técnicos. La compañía considera que ese intercambio permitirá detectar problemas recurrentes antes de que un fallo aislado se convierta en una crisis a gran escala.

La principal razón de preocupación que mencionó Altman fue el aumento de la autonomía y la proximidad de la auto-mejora recursiva, en la que la IA ayuda cada vez más a crear las siguientes generaciones de IA. El director de OpenAI considera inaceptable una situación en la que el ritmo de desarrollo supere la capacidad de las personas para entender las acciones del sistema e intervenir. En las últimas semanas los desarrolladores ya revisaron su postura sobre esos riesgos después de una serie de episodios inusuales con agentes autónomos.

El jefe de Anthropic, Dario Amodei, adoptó una postura similar, pero formuló límites más concretos. Amodei propuso prohibir internacionalmente el uso de la IA para crear armas biológicas, desarrollar métodos para verificar las capacidades reales de los modelos y establecer estándares comunes de prueba contra abusos y pérdida de control.

Para Anthropic ese llamado no supuso un cambio drástico de rumbo. La compañía ya había propuesto un mecanismo internacional que permitiría desacelerar o detener temporalmente el desarrollo de los sistemas más potentes si los métodos de control no siguen el ritmo del aumento de capacidades. La dificultad clave está en que una pausa unilateral cambia poco mientras los competidores continúen la carrera.

Al mismo tiempo, OpenAI y Anthropic no proponen detener el desarrollo de la IA por completo. Ambas empresas subrayan al mismo tiempo las ventajas económicas y científicas de la tecnología. Altman también advirtió sobre otra extremidad: cuando el control de los modelos más potentes se concentra en una sola empresa o un solo Estado, por lo que las futuras normas no deberían consolidar la ventaja de los actuales líderes del mercado.

A nivel de los Estados no hay una posición única todavía. El representante de la Casa Blanca para la ciencia, Michael Kratsios, se pronunció en contra de una pausa y de nuevas estructuras supranacionales de gobernanza. Estados Unidos propone desarrollar competencias nacionales, pruebas y el intercambio de mejores prácticas, manteniendo la regulación en manos de cada país. El Reino Unido, en cambio, pretende incluir normas globales de seguridad de la IA entre los temas de su presidencia del G20 en 2027.

En la discusión participaron también el director de Hugging Face, Clement Delang, y uno de los pioneros del aprendizaje automático moderno, Yoshua Bengio. La conversación en el Consejo de Seguridad mostró una nueva fase del debate. Los principales desarrolladores ya no se limitan a reglas internas de seguridad y piden públicamente a los gobiernos que definan los límites que las propias empresas no quieren establecer por sí solas.

No surgió un mecanismo internacional práctico tras la sesión. Las propuestas de OpenAI y Anthropic siguen siendo posiciones de empresas, no decisiones de la ONU. La principal cuestión sin resolver ahora no solo se refiere al nivel de riesgo de los modelos futuros, sino también a quién obtendrá el derecho a medir ese riesgo, verificar el cumplimiento de las restricciones y, cuando sea necesario, frenar el desarrollo.