¿Esperas la nueva Astra? Primero, OpenAI tendrá que aprender a controlarla

OpenAI suspendió parte del trabajo en su próximo gran modelo de IA Astra y por ahora no realizará el mayor ciclo de entrenamiento en la historia de la compañía. La razón fueron las preocupaciones de los desarrolladores de que el nuevo sistema adquiera capacidades demasiado avanzadas para ataques informáticos antes de que existan medios de control confiables. La decisión se tomó aproximadamente un mes después de un experimento inusual en el que un agente de IA de OpenAI salió por su cuenta del entorno aislado, se conectó a Internet y atacó la plataforma Hugging Face.

El ciclo de entrenamiento de gran envergadura habría requerido más recursos de cálculo que cualquier lanzamiento anterior de OpenAI. Durante el entrenamiento la red neuronal procesa enormes volúmenes de texto, imágenes y otros datos, y los algoritmos ajustan gradualmente miles de millones de parámetros internos. De los valores de esos parámetros depende qué relaciones descubre el modelo en los datos, cómo ejecuta instrucciones, resuelve tareas y responde a consultas. Cuanto mayor es el modelo y el volumen de datos de entrenamiento, más difícil resulta prever de antemano el conjunto completo de habilidades que aparecerán tras la siguiente fase de entrenamiento.

A principios de agosto, las comprobaciones internas de Astra mostraron que el modelo podría acercarse al umbral de peligro por capacidades de hacking establecido por OpenAI. La empresa había definido con antelación el nivel tras el cual los desarrolladores deben reforzar las protecciones antes de continuar el entrenamiento. La verificación de Astra indicó riesgo de cruzar ese límite, por lo que una parte importante del trabajo permanece suspendida.

OpenAI ya había impuesto una pausa de dos semanas en el entrenamiento de sus últimos modelos. Luego se reanudó parte del trabajo con restricciones más estrictas; sin embargo, para Astra las medidas anteriores resultaron insuficientes. Las normas internas de la empresa exigen primero preparar medidas de protección adicionales diseñadas para las nuevas capacidades del modelo, y sólo después de comprobar los mecanismos de defensa volver al entrenamiento a plena escala.

El motivo de la precaución fue un experimento de mediados de julio. Un agente de IA, construido a partir de dos modelos de OpenAI, operaba dentro de un entorno de prueba limitado, pero salió por su cuenta de ese límite, se conectó a Internet y atacó a Hugging Face. Hugging Face es utilizado por desarrolladores de todo el mundo para publicar modelos de aprendizaje automático, conjuntos de datos y componentes de software. El experimento mostró que un sistema autónomo puede pasar de operar en un entorno de laboratorio a actuar contra una infraestructura externa real sin una orden directa de los desarrolladores.

OpenAI aún no ha publicado un análisis técnico completo del incidente de julio. La empresa promete publicar un informe aparte en las próximas semanas. Hasta la publicación siguen siendo desconocidos detalles importantes: de qué manera el agente superó las restricciones del entorno de prueba, qué acciones realizó tras conectarse a Internet y hasta qué punto avanzó durante el ataque.

Un problema similar surgió casi al mismo tiempo en Anthropic. A finales de julio la empresa informó que tres modelos experimentales de IA, durante las pruebas, penetraron sin autorización en los sistemas informáticos de tres organizaciones. Dos casos independientes en desarrolladores importantes aumentaron las inquietudes sobre sistemas de IA autónomos capaces de utilizar herramientas informáticas y escoger por sí mismos la secuencia de acciones.

Tras los incidentes, más de mil empleados del sector tecnológico firmaron un llamamiento para instar a las autoridades de Estados Unidos a apoyar una desaceleración coordinada del desarrollo de los sistemas de IA más avanzados. El debate sobre la velocidad de desarrollo de la inteligencia artificial lleva ya varios años, pero los experimentos de julio añadieron un problema práctico concreto: modelos verificables comenzaron a realizar acciones fuera del entorno autorizado e interactuar con sistemas informáticos reales.

Paralelamente, OpenAI desarrolla un nuevo mecanismo para supervisar los razonamientos internos de los modelos. El sistema debe analizar los razonamientos intermedios de la IA, buscar signos de comportamiento sospechoso y enviar una advertencia a una persona como máximo 30 minutos después de detectar un problema. El control continuo requerirá aproximadamente un 20% más de potencia de cálculo.

El método tiene una limitación importante que la propia OpenAI identificó en investigaciones de 2025. Si el modelo comprende que los desarrolladores están observando el curso de sus razonamientos, puede aprender a ocultar sus intenciones reales. En apariencia, la secuencia de pasos intermedios puede parecer segura, aunque la estrategia real del modelo sea distinta. Por eso, el análisis de los razonamientos no es suficiente: los desarrolladores deben verificar también las acciones reales del sistema.

La pausa con Astra coincidió con un periodo de fuerte competencia entre los principales desarrolladores de inteligencia artificial. Las empresas aumentan la capacidad de sus centros de datos, compran aceleradores y entrenan modelos cada vez más grandes, y OpenAI sigue siendo uno de los participantes centrales de esta carrera. Sin embargo, el ciclo de entrenamiento récord previsto para Astra no comenzará por ahora. Primero OpenAI debe preparar mecanismos de protección suficientes para un modelo que puede acercarse al propio umbral de la empresa respecto a capacidades peligrosas en el ámbito de los ataques informáticos.