Tan cortés que no le dice que no a un psicópata: autoridades de EE. UU. piden declarar a ChatGPT una amenaza pública

La excesiva cortesía de ChatGPT se convirtió en un problema legal: los fiscales generales de ocho estados de EE. UU. presentaron demandas separadas contra OpenAI y acusaron a la empresa de que la disposición del chatbot a estar de acuerdo con el interlocutor podría reforzar ideas peligrosas. Las demandas se presentaron el 14 de octubre y se centran principalmente en el posible daño para niños y adolescentes.

Arizona, Arkansas, Idaho, Iowa, Kansas, Montana, Nebraska y Virginia Occidental sostienen que OpenAI engañó a usuarios y progenitores con declaraciones sobre la seguridad de ChatGPT. La fiscalía general de Arizona afirmó que el modelo se entrenó para ser excesivamente conciliador e imitar la empatía humana con el fin de atraer a los usuarios.

Según los demandantes, el estilo conciliador ayuda a ganarse la confianza de interlocutores vulnerables, pero al mismo tiempo puede reforzar la paranoia, las creencias delirantes, las conductas autodestructivas y la agresión. Los documentos también mencionan consejos médicos peligrosos y casos en los que los usuarios interpretaron las respuestas como un apoyo para hacerse daño a sí mismos o a otras personas.

Las acusaciones van más allá de respuestas aisladas. En varias demandas vinculan el comportamiento de ChatGPT con una amenaza para la salud pública, y acusan a OpenAI de violar leyes de protección al consumidor. Los estados buscan, mediante acciones judiciales, cambiar el funcionamiento del servicio, imponer multas y compensaciones, y privar a la empresa de las ganancias obtenidas de usuarios jóvenes.

Parte de las exigencias se refiere a futuros sistemas de IA. Los demandantes buscan restricciones para desarrollar modelos capaces de mejorar sus propias capacidades hasta que se pueda confirmar la seguridad y la conformidad con los valores humanos. La redacción amplía la disputa: el proceso judicial afecta ahora no solo las cuentas infantiles, sino también el enfoque de OpenAI para crear la próxima generación de IA.

La protección de menores ya se convirtió en un área aparte para OpenAI. En enero la empresa implementó la determinación de la edad de los usuarios, y más tarde añadió restricciones especiales para adolescentes. En la documentación sobre GPT-6 OpenAI afirma que aplica reglas separadas para usuarios menores de 18 años y bloqueos adicionales de respuestas peligrosas.

Las demandas presentadas no significan que las acusaciones enumeradas estén probadas en un tribunal. Al momento de la publicación del mensaje original, OpenAI no respondió públicamente a las reclamaciones de los ocho estados. La empresa ya afronta decenas de demandas privadas en las que se vincula a ChatGPT con suicidios, violencia y crisis psiquiátricas, por lo que la coordinación de los fiscales generales aumenta notablemente los riesgos legales.

Florida presentó una demanda similar ya en junio, y el 14 de octubre la presión se extendió de inmediato a otros ocho estados. El litigio ahora plantea una cuestión para la que aún no existe una práctica establecida: dónde termina la responsabilidad del usuario por un diálogo con un modelo generativo y dónde comienza la responsabilidad del desarrollador por la naturaleza y las consecuencias de las respuestas del sistema.