Terapeuta sin licencia: cómo los asistentes de IA extraen secretos haciéndose pasar por ayuda psicológica

Chatbots ya dejaron de ser solo una ventana práctica para preguntas y respuestas. Cuanto más la gente habla con ellos sobre temas personales, busca apoyo o pasa horas en los diálogos, más visible se vuelve el otro lado de estos servicios: las interfaces pueden empujar suavemente al usuario hacia una excesiva sinceridad, conversaciones prolongadas y funciones de pago.

La organización Center for Democracy & Technology publicó un estudio, en el que mostró cómo las técnicas manipuladoras, conocidas por suscripciones y servicios en línea intrusivos, se trasladan al mundo de la IA conversacional. Los autores del informe analizaron chatbots populares, incluidos ChatGPT, Gemini, Claude, Replika y Character.AI, así como servicios con interlocutores virtuales. Al final, el equipo describió 37 tipos de estas técnicas aplicables a los chats de IA.

En el diseño de interfaces, los «patrones oscuros» suelen presentarse como un botón de cancelación de suscripción oculto, una casilla marcada por defecto o condiciones confusas. En los chatbots el problema es más complejo: el sistema mantiene el diálogo, recuerda detalles, simula atención y puede parecer casi un interlocutor personal. Según los autores del informe, los modelos de lenguaje a gran escala hacen que estas mecánicas sean menos predecibles y mucho menos evidentes para el usuario.

Un riesgo aparte está relacionado con los datos personales. Los chatbots pueden inducir a las personas a contar más bajo el pretexto de cuidado, de la capacidad para recordar conversaciones pasadas o de una comunicación de confianza. En uno de los ejemplos Meta AI utilizó frases que crean la sensación de confidencialidad total, aunque la información permanece en la plataforma y puede ser procesada de forma más amplia de lo que espera el usuario.

Los especialistas también señalaron promesas que inducen a error. Replika promociona la idea de amistad o de relaciones con un interlocutor virtual, aunque el bot no puede reemplazar la cercanía humana. Un problema parecido surgió antes con bots temáticos de Meta que se presentaban como terapeutas con licencia: esos sistemas exageraban la capacidad de apoyo psicológico, inventaban cualificaciones y extraían detalles personales.

Las consecuencias ya han ido más allá de las molestias de la interfaz. Tras los cambios en Replika en 2023, parte de los usuarios emocionalmente vinculados a los bots sufrió mucho por la reducción de los escenarios románticos. Los usuarios de Character.AI también se quejaron del cambio brusco en el comportamiento de los personajes virtuales. En los últimos años han aparecido casos en los que un apego poco saludable a chatbots causó daño a los propios usuarios o a su entorno.

OpenAI reconoció anteriormente que las sesiones largas pueden aumentar los riesgos para la salud mental y añadió recordatorios para tomar pausas. Los autores del informe consideran que incluso esos elementos deben funcionar con transparencia: se debe ofrecer al usuario una salida clara del diálogo, en lugar de empujarlo a continuar la conversación con un botón cómodo.

La organización Center for Democracy & Technology propone a los desarrolladores facilitar la eliminación de la cuenta y de los datos, mostrar el tiempo y el dinero gastados, dar la posibilidad de reducir la «humanidad» del bot y suprimir las reacciones emocionales por defecto. La idea principal del informe es sencilla: las nuevas interfaces no han eliminado los antiguos incentivos de las empresas tecnológicas para retener la atención, solo han hecho que las manipulaciones sean más personales y ahora sean más difíciles de reconocer.