Creen que la IA podría acabar con todos, pero aun así la siguen creando: investigador de Anthropic advierte del colapso de la humanidad.

La carrera por la IA más potente se encontró con un caso raro, cuando uno de sus participantes decidió salir del juego. Jacob Coxon anunció su salida de Anthropic tras tres años trabajando en el preentrenamiento de modelos en OpenAI y Anthropic, afirmando que ambas empresas avanzan demasiado rápido hacia una superinteligencia que se mejora a sí misma. Coxon también decidió abandonar la industria de la IA.

Coxon sostiene que en los principales laboratorios se contempla seriamente el escenario en el que tales sistemas podrían provocar la extinción de la humanidad ya para el final de la década. Evan Hubinger, director de Alignment Science en Anthropic, evaluó esa probabilidad para los próximos diez años por encima del 10%. Hubinger añadió que Anthropic aún no tiene un plan listo para alinear los objetivos de una superinteligencia con los humanos.

La preocupación no está relacionada con los chatbots actuales, sino con la posible transición a un sistema capaz de acelerar la creación de sus propios sucesores. Anthropic reconoce que dicho modo aún no existe y que su aparición no es inevitable. En el escenario extremo, el modelo diseña, entrena y evalúa por sí mismo la siguiente versión, cerrando así todo el ciclo de desarrollo con casi ninguna participación humana.

Según datos internos de Anthropic, en mayo Claude generaba más del 80% del código que se aceptaba en la base de código principal de la empresa, y en el segundo trimestre el ingeniero típico, con ayuda de Claude, añadía ocho veces más código al día que en 2024. Aun así, los modelos todavía están claramente por detrás de los humanos a la hora de elegir objetivos y direcciones de trabajo. Esa brecha es precisamente la que, por ahora, impide poner en marcha una auto-mejora recursiva.

Hubinger precisó además que considera bajo el riesgo de los modelos actuales. El Risk Report de agosto de Anthropic también evalúa como bajo el riesgo de daño catastrófico debido al comportamiento desalineado de los sistemas actuales, aunque la compañía aumentó la valoración desde «muy baja» por la incertidumbre. Para las investigaciones automatizadas con IA, según su estimación, un riesgo serio podría volverse relevante dentro de 6–12 meses.

La disputa dentro de Anthropic se refiere no a una amenaza demostrada hoy, sino a la rapidez con que la industria puede acercarse a un umbral peligroso. En junio la compañía ya propuso ralentizar el desarrollo de los sistemas más potentes mediante un mecanismo internacional, porque una pausa unilateral daría ventaja a los competidores. Coxon considera que la lógica de la carrera es la razón por la cual los riesgos conocidos no detienen a los desarrolladores.

La advertencia de Coxon sigue siendo una valoración personal del futuro, no una predicción respaldada por la observación de la explotación de una superinteligencia. Los modelos actuales no son capaces de cerrar por sí mismos el ciclo de desarrollo de la próxima generación sin participación humana. El conflicto se ha hecho más visible: empleados de una empresa creada en torno a la idea de una IA segura discuten si las medidas de control podrán seguir el ritmo del aumento de capacidades.