Nuevo bot de IA caza a extremistas de Reddit La administración nuevamente no está al tanto

Tras el reciente escándalo por un experimento no autorizado realizado por científicos de Zúrich, quienes desplegaron bots en hilos de discusión de Reddit, un nuevo desarrollo de un estudiante de la India no hizo más que avivar el fuego: Sairaj Balaji, de 20 años, presentó PrismX — una herramienta de IA que escanea Reddit y otras redes sociales en busca de "contenido radical", evalúa a los usuarios en una escala de extremismo y es capaz de entablar conversación con ellos a través de un bot con el objetivo de "desradicalizarlos".

El programa, que Balaji demostró en vivo, permite buscar palabras clave, rastrear cuentas, analizar sus publicaciones y generar un “índice radical” de 0 a 1. Como ejemplo, el estudiante introdujo en la búsqueda el término “fgc9”, que designa un arma impresa en 3D popular entre extremistas de derecha y rebeldes. La herramienta identificó a los usuarios que mencionaron este término y les asignó puntajes altos de "radicalidad", justificando esto con intentos de ensamblar armas usando esquemas prohibidos y con costos mínimos.

A un usuario se le asignó un puntaje de 0,85 con una nota indicando que solicitaba ayuda para fabricar un FGC-9, haciendo referencia a esquemas clandestinos y mostrando interés por cuestiones de ocultamiento. El programa también evalúa “marcadores psicológicos”, “potencial de escalada” y “influencia sobre grupos”, intentando predecir la probabilidad de pasar a la acción.

Una función clave de PrismX es la capacidad del bot de IA para entablar diálogo con el usuario sospechoso. Según la descripción, el algoritmo adapta el tono de conversación, muestra empatía y dirige la charla paso a paso hacia el abandono de las ideas radicales. El propio desarrollador admite no tener formación específica en psicología y se describe como “un técnico con enfoque en gestión”. Según él, por razones éticas aún no ha interactuado realmente con usuarios de Reddit.

No obstante, proyectos similares generan una creciente preocupación. Anteriormente, investigadores de la Universidad de Zúrich desplegaron bots de IA en el subreddit r/changemyview, disfrazándolos de “víctima de violación”, “persona negra opuesta al movimiento BLM” y “trabajador de refugio para víctimas de violencia doméstica”. Esto desató una ola de críticas, y Reddit exigió la suspensión del experimento, además de enviar al centro académico una reclamación legal formal.

La nueva ola de interés por estos proyectos subraya una creciente inquietud: si un solo estudiante puede crear un sistema capaz de rastrear y afectar el comportamiento de personas en línea a gran escala, ¿qué posibilidades tienen las estructuras más grandes y cerradas? Y lo más importante — ¿dónde está el límite entre la lucha contra el extremismo y la violación de los derechos humanos? Reddit aún no ha comentado la situación.