¿Quería automatizar tareas? ¡Enhorabuena! Ahora sus datos corporativos están filtrándose a las manos equivocadas

LangChain solucionó una vulnerabilidad crítica en la plataforma LangSmith que los hackers podían usar para interceptar claves API, prompts y otros datos confidenciales de los usuarios. El problema fue descubierto por especialistas de la empresa Noma Security, quienes lo denominaron AgentSmith y lo evaluaron con 8.8 puntos sobre 10 en la escala CVSS.

LangSmith es una plataforma de observación y pruebas diseñada para desarrollar y evaluar aplicaciones que utilizan grandes modelos de lenguaje (LLM). Está integrada con LangChain y proporciona acceso a LangChain Hub, un repositorio de agentes públicos, modelos y plantillas de prompts.

La vulnerabilidad consistía en que un atacante podía crear un agente malicioso e incrustar en él un servidor proxy disfrazado como una función estándar de Proxy Provider, que permite redirigir solicitudes a través de modelos compatibles con la API de OpenAI. Este agente luego se subía a LangChain Hub, donde podía ser encontrado y probado por usuarios desprevenidos.

Una vez que el usuario hacía clic en “Try it” y enviaba una solicitud, todo su tráfico comenzaba a pasar por el proxy controlado por el atacante. Esto permitía robar claves API, contenido de los prompts, documentos, imágenes e incluso datos de voz. Especialmente peligroso era el escenario en el que el usuario clonaba dicho agente en un entorno corporativo sin notar el elemento de configuración malicioso. Como resultado, se producía una filtración constante de información sin señales visibles de intervención.

El hacker podía utilizar las claves API de OpenAI robadas para acceder sin autorización al entorno de la víctima, incluyendo datasets internos, prompts del sistema, modelos e información comercial. Esto, a su vez, podía conducir a filtraciones de propiedad intelectual, riesgos reputacionales, consecuencias legales y un aumento en los costos: el atacante podía agotar rápidamente el límite de solicitudes de la API, restringiendo el acceso a los servicios de OpenAI para toda la empresa.

Tras una divulgación responsable el 29 de octubre de 2024, LangChain lanzó una corrección el 6 de noviembre. Entre los cambios se incluye una advertencia para los usuarios al intentar clonar un agente con una configuración proxy no estándar, informando sobre una posible fuga de datos.

Paralelamente a este incidente, otra empresa — Cato Networks — publicó información sobre dos nuevas variantes de la herramienta WormGPT, diseñada para automatizar ciberataques mediante modelos de lenguaje generativo. Estas nuevas versiones — xzin0vich-WormGPT y keanu-WormGPT — funcionan con base en xAI Grok y Mistral AI Mixtral.

A diferencia del WormGPT original, que fue cerrado poco después de la desanonimización de su creador, las nuevas versiones son LLM populares reconfiguradas mediante la sustitución de prompts del sistema y, probablemente, entrenamiento adicional con datos ilegales.

Ahora WormGPT se ha convertido en una “marca” para toda una línea de LLM sin censura que permiten generar contenido para phishing, spyware y otras actividades maliciosas. En esencia, los delincuentes encontraron una forma de adaptar IA comercialmente disponible a fines criminales, convirtiéndola en parte de la infraestructura del mercado negro.