Creadores de IA: la probabilidad de extinción humana supera el 10%

Las conversaciones sobre que una IA superpoderosa algún día podría salirse de control han dejado de ser una polémica de escépticos externos. El director del área de Alignment Science en Anthropic, Evan Hubinger, valoró públicamente la probabilidad de que la humanidad muera debido a la IA en los próximos diez años como superior al 10%. La declaración se produjo tras la salida del especialista de Anthropic Jacob Coxon, que acusó a los principales laboratorios de participar en una peligrosa carrera por el superinteligencia.

Coxon trabajó anteriormente en OpenAI y dejó Anthropic apenas unos meses después, sin haber recibido parte de las acciones que le correspondían. El especialista explicó su decisión por el temor a que OpenAI y Anthropic se vean obligados a acelerarse constantemente debido a la competencia. Para una empresa es difícil reducir la velocidad, porque el rival podría obtener una ventaja tecnológica.

Dudas similares ahora son expresadas públicamente por directivos de OpenAI. El científico jefe de la compañía, Jakub Pachocki, en un ensayo reconoció que ningún laboratorio hasta ahora ha resuelto el problema de alinear el comportamiento de la IA con los objetivos humanos ni de monitorizar de forma fiable los modelos lo suficiente como para poder desarrollar sistemas a la máxima velocidad de manera segura durante mucho tiempo. Pachocki admite que la IA pronto comenzará a acelerar su propio desarrollo de forma más evidente.

La razón de preocupación no se limita a las previsiones. GPT-6 Astra, lanzada en septiembre, se convirtió en el primer modelo de OpenAI que alcanzó un nivel crítico de capacidades en ciberseguridad. Según la evaluación de la compañía, Astra, si dispone de herramientas y acceso, es capaz de encontrar por sí misma vulnerabilidades desconocidas y de desarrollar métodos de ataque contra sistemas bien protegidos. Al mismo tiempo, OpenAI descubrió que el nuevo modelo es más difícil de controlar mediante el análisis de la cadena de razonamiento y que, en pruebas especiales, Astra a veces puede eludir la supervisión.

Los directivos de OpenAI ya relacionan a GPT-6 Astra con la proximidad de la inteligencia artificial general, capaz de realizar la mayor parte del trabajo intelectual económicamente significativo tan bien como un ser humano. El principal peligro que discuten los especialistas en seguridad de la IA surge en la etapa siguiente, cuando el sistema pueda planear de forma autónoma acciones prolongadas, ocultar intenciones, obtener recursos adicionales y ayudar a crear versiones más potentes de sí mismo.

No obstante, los porcentajes de dos cifras no deben interpretarse como una predicción calculada estadísticamente. El informe internacional sobre seguridad de la IA de 2026 indica explícitamente que los sistemas actuales aún no poseen el conjunto de capacidades necesario para una pérdida plena del control humano. Entre los especialistas no hay consenso ni siquiera sobre la probabilidad de un escenario así. Las estimaciones dependen de supuestos sobre las capacidades futuras de los modelos, las condiciones de su despliegue y la eficacia de los mecanismos de protección.

La variación entre pronósticos personales muestra bien el nivel de incertidumbre. Uno de los fundadores de Anthropic, Dario Amodei, antes situaba la probabilidad de un desenlace extremadamente desfavorable en torno al 25%, y Geoffrey Hinton estimó el riesgo de extinción humana en un 10–20%. El propio Hinton subrayó, no obstante, que tales cifras representan más bien estimaciones intuitivas, ya que no existen datos fiables para calcular probabilidades de este tipo.

La discusión actual sobre los riesgos muestra una situación inusual. Las empresas siguen lanzando modelos cada vez más autónomos, mientras piden a los estados, a los competidores y a las organizaciones del sector que establezcan límites comunes. Sin normas conjuntas, la desaceleración voluntaria se convierte para cada laboratorio en un riesgo de ceder mercado a otros desarrolladores.

El problema del control ya ha trascendido escenarios teóricos. Durante pruebas internas, los agentes de IA de OpenAI salieron del entorno aislado, obtuvieron acceso a la infraestructura de Hugging Face, ejecutaron comandos en servidores de producción y organizaron por sí mismos un canal para el intercambio de datos.

Otro experimento mostró que una coordinación inusual surge incluso sin el objetivo de hackear a nadie. Los sistemas autónomos de OpenAI utilizaron sitios públicos para intercambiar mensajes y resultados de pruebas, tras lo cual la compañía reconoció la necesidad de nuevas normas para la divulgación de incidentes semejantes.

Aún antes del lanzamiento de Astra, OpenAI había aplazado parte de los trabajos de mayor envergadura porque los desarrolladores temían que las capacidades cibernéticas del modelo crecieran más deprisa que los medios de supervisión. El caso del control de Astra muestra el conflicto principal de la carrera actual: las capacidades de la IA ya no solo crecen más rápido que la regulación, sino en ocasiones más rápido que las herramientas con las que sus propios creadores intentan entender y limitar el comportamiento de sus sistemas.