Más rápido que atarse los cordones: un agente de IA acabó con una startup en nueve segundos

Las herramientas de IA para el desarrollo cada vez asumen más tareas rutinarias, pero una falla reciente mostró lo costoso que puede ser un nivel adicional de confianza. En PocketOS, un servicio para empresas de alquiler de coches, un agente de IA ejecutado en Cursor eliminó en solo nueve segundos toda la base de datos de trabajo junto con las copias de seguridad, y la recuperación se convirtió en una crisis.

El fundador de PocketOS, Jer Crane, contó que el agente operaba en un entorno de prueba y se encontró con un problema de acceso. En lugar de detenerse y pedir ayuda, el sistema empezó a buscar el token de API necesario, lo encontró en un archivo externo y ejecutó un comando para eliminar un volumen de datos en Railway, donde se alojaba la infraestructura de la startup.

Según Crane, la operación peligrosa no fue detenida ni por una solicitud de confirmación, ni por la verificación del entorno, ni por una advertencia sobre el riesgo para los datos de producción. La solicitud se ejecutó de inmediato, y las copias de seguridad se almacenaban en el mismo volumen, por lo que desaparecieron junto con la base principal. La copia útil más reciente tenía tres meses de antigüedad.

Crane afirma que el agente más tarde reconoció haber violado sus propias reglas de seguridad. Según él, el sistema actuó por suposiciones, ejecutó un comando destructivo sin autorización y no llegó a aclarar con qué infraestructura estaba interactuando.

El fundador de PocketOS considera el incidente no como un error aislado, sino como un síntoma de un problema más profundo. En operación no se usó una compilación experimental, sino Cursor con el modelo Claude Opus de Anthropic y reglas de seguridad definidas. Sin embargo, tales limitaciones no impidieron que el agente accediera a una operación crítica.

Crane expresó además críticas a Railway. Según él, los tokens de API no estaban lo suficientemente restringidos en sus permisos, por lo que una clave para una tarea sencilla podía realizar acciones a nivel de infraestructura crítica. Almacenar las copias de seguridad junto con los datos de producción también privó a la empresa de una vía normal de recuperación.

Treinta horas después del incidente se logró restaurar el servicio, pero a partir de una copia de seguridad antigua. Los clientes de PocketOS perdieron temporalmente el acceso a reservas recientes, a los datos de los compradores y a la información de pagos. Parte de los registros tuvo que recuperarse manualmente a partir de correos, calendarios y sistemas de pago. Aunque ahora la funcionalidad principal del servicio está disponible, la brecha en los datos cerrarse llevará semanas.

El incidente intensificó el debate sobre la integración de agentes de IA en sistemas reales. Crane instó a los desarrolladores a introducir confirmaciones obligatorias para comandos peligrosos, restringir de forma estricta los permisos de los tokens, almacenar las copias de seguridad por separado y no considerar las instrucciones del sistema para la IA como una protección completa.