Google logra que millones de agentes de IA «duerman» y se despierten en medio segundo

Google propuso una forma de ejecutar millones de agentes de IA en entornos aislados sin pagar los contenedores inactivos. La nueva plataforma devuelve al agente al trabajo en menos de medio segundo y promete proteger los servidores del código que las redes neuronales generan por sí mismas.

El 5 de noviembre Google anunció la transferencia de los proyectos Agent Substrate, gVisor y OpenRL a la Cloud Native Computing Foundation (CNCF). Los desarrollos obtuvieron el estatus Sandbox, y Agent Substrate alcanzó la versión 1.0 y se puso a disposición pública en Google Kubernetes Engine (GKE). La compañía espera que el desarrollo independiente de las tecnologías permita usarlas en distintas nubes y en clústeres de Kubernetes.

El problema empieza con el modo de funcionamiento inusual de agentes de IA. Según Google, durante una sesión interactiva típica un agente pasa entre el 90% y el 95% del tiempo esperando la respuesta del modelo, de un servicio externo o de una persona. Mientras tanto, el contenedor en ejecución sigue ocupando recursos, ya que dentro permanecen herramientas abiertas, repositorios locales y cambios de archivos no guardados. Un reinicio completo del entorno, en cambio, puede llevar más de 20 segundos.

Agent Substrate separa el estado del agente y los recursos computacionales. Una sesión está a cargo de un Actor, que almacena el sistema de archivos, las variables de entorno, el estado de la memoria y las reglas de red. Los procesos de trabajo se ejecutan en un grupo preparado de pods de Kubernetes llamado WorkerPool. Un recurso atiende de forma sucesiva distintas sesiones aisladas.

Cuando el agente está inactivo, el sistema guarda una instantánea del estado en un almacenamiento multinivel y libera el intervalo computacional. Al recibir una nueva solicitud, el controlador elige un Worker libre, restaura la memoria y los archivos, y continúa el trabajo donde había quedado. Google afirma una restauración en menos de 500 milisegundos sin crear un nuevo pod por cada acceso.

La seguridad la proporciona gVisor, una capa intermedia de software con un núcleo escrito en Go. A diferencia de los contenedores estándar de Linux, que usan el núcleo compartido del host, gVisor intercepta las llamadas al sistema en el espacio de usuario. Así, el código generado por el agente obtiene una barrera de aislamiento. Para tareas especiales también se prevén microVMs de Cloud Hypervisor.

La plataforma no está pensada solo para asistentes conversacionales. El entrenamiento a gran escala y las pruebas de modelos requieren ejecutar numerosas tareas cortas al mismo tiempo. Crear un pod de Kubernetes separado para cada comprobación sobrecarga los componentes de control y consume direcciones IP. Agent Substrate permite reutilizar entornos de trabajo preparados sin crear miles de objetos desde cero.

En la descripción de la arquitectura publicada por Google, Agent Substrate se encarga de ejecutar las sesiones, gVisor aísla el código no confiable y OpenRL gestiona los ciclos de aprendizaje por refuerzo y la evaluación de los agentes. La transferencia de los proyectos a la Cloud Native Computing Foundation (CNCF) busca hacer la infraestructura independiente de un único proveedor. El código abierto de Agent Substrate ya está disponible para desarrolladores que quieran probarlo.