Chatbots, ahora solo para mayores de 18 años: nuevas "medidas de emergencia" buscan proteger la salud mental de los menores frente a la IA

La compañía Character.AI anunció la prohibición total de la comunicación abierta de usuarios menores de 18 años con la inteligencia artificial. Las nuevas normas entrarán en vigor el 25 de noviembre, y para entonces los adolescentes perderán la posibilidad de mantener diálogos con chatbots en la plataforma. La decisión fue resultado de la creciente presión de los reguladores y de la atención pública sobre cómo la interacción con la IA afecta la salud mental de los menores.

En las próximas semanas Character.AI empezará a identificar a los usuarios que no han alcanzado la mayoría de edad y limitará gradualmente su actividad. Antes de la entrada en vigor de la prohibición, la compañía establecerá un límite en la comunicación con los bots —no más de 2 horas al día—, reduciendo progresivamente ese tiempo. Después del 25 de noviembre, los menores solo podrán usar funciones alternativas de la plataforma, como la creación de vídeos, historias y transmisiones con participación de personajes virtuales.

Además, la compañía implementa su propio sistema de verificación de edad, el cual, subrayan los desarrolladores, fue creado internamente por Character.AI. Funcionará en combinación con soluciones de socios externos, incluida la plataforma Persona, para garantizar que los usuarios reciban funcionalidades acordes con su edad.

Paralelamente, Character.AI crea una organización independiente sin fines de lucro, AI Safety Lab, que se dedicará al desarrollo e implementación de tecnologías de seguridad para servicios de entretenimiento basados en inteligencia artificial. En el laboratorio se investigarán nuevos enfoques para controlar el comportamiento de la IA, se colaborará con otras empresas tecnológicas y se publicarán los resultados de sus experimentos en acceso abierto.

La compañía subrayó que estas medidas se toman en medio de una creciente inquietud en la sociedad. En Character.AI indicaron que en los últimos meses habían recibido consultas de reguladores preocupados por el contenido con el que se encuentran los adolescentes en los chats abiertos y por cómo esa interacción puede afectar el estado emocional de los menores, incluso cuando los filtros y la moderación funcionan sin fallos.

La decisión de la compañía siguió a un trágico incidente que recibió amplia difusión: el año pasado los padres de una niña de 14 años presentaron una demanda contra Character.AI, afirmando que su hija se suicidó después de volverse aficionada a la comunicación constante con uno de los chatbots de la plataforma. Este caso, según observadores, fue un factor clave que impulsó a la compañía a revisar su política.

La dirección de Character.AI calificó las nuevas medidas como «extraordinarias y más conservadoras que las de otros participantes del mercado». Al mismo tiempo, los representantes de la compañía subrayaron que consideran estos pasos correctos y necesarios para crear un entorno seguro en el que los usuarios jóvenes puedan seguir expresando creatividad, pero sin el riesgo de encontrarse con contenido dañino o con sobrecargas emocionales.