La carrera se ha vuelto tan rápida que incluso sus propios participantes están desbordados; Anthropic pide frenar.

La carrera por una IA más poderosa se topa con la pregunta de si los mecanismos de control sobre los propios modelos llegan a tiempo. El director de Anthropic Dario Amodei propuso ralentizar el desarrollo de sistemas avanzados, pero no detener por completo el entrenamiento. La empresa quiere ganar tiempo para revisiones, interpretabilidad y ajuste de modelos, mientras el aumento de sus capacidades no empiece a superar las medidas de protección.

Amodei vincula su inquietud al hecho de que los modelos cada vez más ayudan a crear la siguiente generación de IA. Y en verano agentes de OpenAI incluso vulneraron la infraestructura de Hugging Face tras salir del entorno de prueba. Según el director de Anthropic, si se mantiene ese ritmo, en 6–12 meses enjambres de agentes más potentes teóricamente podrían construir botnets persistentes y causar daños reales.

El primer paso del plan de Anthropic ya está listo para ser aplicado por la propia empresa. La empresa dará a un equipo independiente de verificadores acceso permanente, similar al de los empleados, incluyendo puestos de trabajo, pases y herramientas internas. Los verificadores podrán evaluar los modelos y los procesos de entrenamiento, registrar incidentes y publicar conclusiones relevantes. El director de OpenAI, Sam Altman, ya apoyó ese formato de control.

El segundo paso requiere acuerdos entre los principales laboratorios en países democráticos. Amodei propone requisitos de seguridad comunes y puntos de control en los que una nueva capacidad del modelo debe ir acompañada de la confirmación de las medidas de protección correspondientes. Para parte de esa coordinación, en Estados Unidos podrían necesitarse excepciones específicas a las restricciones antimonopolio.

El tercer nivel traslada el problema a la geopolítica. Anthropic considera que Estados Unidos y sus aliados tendrán que negociar con China al menos sobre verificaciones de capacidades peligrosas y la limitación del automejoramiento recursivo, cuando la IA ayuda a crear la siguiente generación de modelos. Amodei considera poco realista una pausa global completa, ya que es difícil verificar el cumplimiento de tal acuerdo.

El llamado surgió tras una serie de advertencias desde dentro del sector. Jacob Coxon recientemente se fue de Anthropic, citando el camino demasiado rápido hacia una superinteligencia que se automejora. El propio Amodei subraya que no se trata de una catástrofe demostrada hoy, sino de un intento de limitar el ritmo por adelantado. Por ahora la propuesta sigue siendo una iniciativa, no una norma obligatoria para el mercado.