Tu inteligencia artificial favorita ya trabaja en la darknet... y ni siquiera lo sospecha

Según un informe de Cato Networks, los ciberdelincuentes siguen utilizando activamente modelos LLM en sus ataques. En particular, se trata de versiones de los modelos Grok y Mixtral, que han sido modificados intencionadamente para eludir las restricciones integradas y generar contenido malicioso.

Se descubrió que una de estas versiones modificadas de Grok apareció en el popular foro clandestino BreachForums ya en febrero de 2025. Fue publicada por un usuario con el seudónimo keanu. La herramienta es un envoltorio de la versión original de Grok y se controla mediante un prompt del sistema especialmente programado. A través de este prompt, los autores consiguen que el modelo ignore los mecanismos de protección y genere correos de phishing, código malicioso e instrucciones para ataques.

Otro modelo modificado basado en Mixtral, un producto de la empresa francesa Mistral AI, también fue detectado en BreachForums. Fue publicado por otro usuario del foro con el apodo xzin0vich en octubre. Ambos modelos están disponibles para la compra de cualquier interesado en la darknet.

Cabe destacar que ni xAI ni Mistral AI han emitido comentarios oficiales sobre cómo sus desarrollos terminaron en manos de ciberdelincuentes.

Según Cato Networks, estas modificaciones no representan vulnerabilidades de los propios modelos Grok o Mixtral. Se trata de un abuso del principio del prompt del sistema, que define el comportamiento de la red neuronal. Cuando un atacante envía su solicitud, esta se convierte en parte del diálogo general con el modelo, incluido el prompt que contiene las instrucciones para eludir las restricciones.

Los expertos destacan que cada vez hay más versiones "desbloqueadas" de estos modelos. Alrededor de ellas se están formando ecosistemas clandestinos enteros, basados principalmente en LLM de código abierto. Con su ayuda, los ciberdelincuentes obtienen acceso a potentes herramientas que simplifican considerablemente la creación de correos de phishing, malware y otros escenarios de ataque.

Un desafío particular en la lucha contra esta tendencia es el hecho de que Mixtral se distribuye como un modelo completamente abierto. Esto permite a los atacantes ejecutarlo en sus propios servidores y abrir el acceso API para otros participantes de la darknet. Los productos basados en Grok están, en teoría, bajo el control de xAI, pero incluso en este caso, rastrear y bloquear los abusos se convierte en un juego del gato y el ratón.

La situación se agrava porque estas herramientas han superado hace tiempo el ámbito de las compilaciones locales. Las primeras versiones de estos productos, conocidas como WormGPT, aparecieron en la darknet ya en junio de 2023. En ese momento, la IA generativa basada en un modelo abierto de EleutherAI ganó notoriedad tras una investigación del periodista Brian Krebs. Aunque la versión original fue rápidamente bloqueada, sus análogos con nombres como FraudGPT y EvilGPT se difundieron masivamente en los foros clandestinos.

Los precios de estas herramientas varían entre 60 y 100 euros al mes, y las versiones privadas o personalizadas pueden costar alrededor de 5000 euros. Según Cato Networks, los ciberdelincuentes recurren cada vez más a especialistas en IA para crear sus propias versiones de estos modelos. Sin embargo, como reveló la investigación, a menudo no se trata de desarrollos independientes desde cero, sino de modificaciones de redes neuronales ya existentes.

Los expertos del sector señalan que el mercado de LLM "desbloqueados" es enorme. En la darknet ya hay cientos de estos modelos, incluidos los basados en DeepSeek. La principal técnica que utilizan los atacantes son las manipulaciones con los prompts. Referencias históricas, reformulaciones hábiles o estructuras ocultas ayudan a engañar a la IA y a hacer que genere contenido malicioso. La amenaza principal no reside tanto en vulnerabilidades técnicas, sino en la rapidez con la que los delincuentes aprenden a utilizar la IA para aumentar la eficacia de sus ataques, acelerando la preparación y la precisión de su ejecución.

Según los expertos, las medidas de protección actuales son claramente insuficientes. Además, en los foros clandestinos ya se observa el surgimiento de un mercado de "jailbreak como servicio", donde es posible obtener redes neuronales hackeadas listas para usar sin necesidad de conocimientos técnicos.