Le preguntaron a un bot cómo tratar el dolor en el pecho. Dio cinco consejos — uno era mortal

Cada vez más estadounidenses confían su salud a asistentes virtuales: uno de cada seis consulta a chatbots sobre temas médicos al menos una vez al mes. En un contexto de hospitales saturados y costos prohibitivos, los asesores digitales como ChatGPT parecen una alternativa atractiva a la medicina tradicional.

Sin embargo, los investigadores del Instituto de Internet de Oxford lanzan una seria advertencia. Un experimento a gran escala, cuyos resultados se publicaron bajo el título “Clinical knowledge in LLMs does not translate to human interactions”, demostró que acudir a sistemas automatizados conlleva riesgos considerables. Muchos usuarios tienen dificultades para formular sus preguntas y reciben respuestas contradictorias, donde la información útil se mezcla con recomendaciones potencialmente peligrosas.

En el experimento participaron 1300 residentes del Reino Unido. Los médicos les presentaron diversos escenarios clínicos en los que debían evaluar síntomas y decidir si era necesario buscar ayuda profesional. Los participantes debían analizar cada caso de dos formas: usando modelos de lenguaje líderes (GPT-4, Cohere Command R+ y Llama 3 de Meta) y basándose en sus propios conocimientos. Si lo deseaban, también podían utilizar un buscador de internet.

Los resultados sorprendieron a la comunidad científica: a pesar de que los modelos de lenguaje actuales logran puntuaciones casi perfectas en exámenes médicos de certificación, su uso en situaciones reales no ofreció ventajas significativas. Peor aún, tras consultar con los asesores digitales, algunos participantes subestimaron la gravedad de su estado. Otros malinterpretaron las recomendaciones recibidas, lo que los llevó a tomar decisiones erróneas.

En paralelo, los científicos evaluaron la eficacia de la inteligencia artificial en la práctica médica real. Un grupo de radiólogos tuvo que analizar radiografías de tórax, primero por cuenta propia y luego con ayuda de algoritmos de aprendizaje automático. Contrario a lo esperado, las herramientas digitales no mejoraron la calidad del diagnóstico. Algo similar ocurrió cuando a los terapeutas se les pidió diagnosticar con ayuda de modelos de lenguaje: la precisión aumentó solo unas décimas.

La Asociación Médica Estadounidense ya en 2023 publicó un documento oficial instando a los médicos a no basarse en asistentes automáticos como ChatGPT para tomar decisiones clínicas.

También preocupa la privacidad. Cualquier consulta enviada a un asistente virtual pasa a formar parte de su base de entrenamiento. Lo mismo ocurre cuando un médico utiliza una IA para redactar una carta para la aseguradora: los datos del paciente y su historial médico terminan en el almacenamiento digital del sistema.

En manos equivocadas, esa información de salud puede convertirse en un arma de chantaje, fraude o robo de identidad. Datos sobre enfermedades crónicas, trastornos mentales o condiciones genéticas pueden perjudicar a una persona al buscar empleo, contratar un seguro o solicitar un crédito. Los hackers pueden vincular historiales médicos con otras bases de datos filtradas para crear expedientes detallados sobre posibles víctimas. Además, a menudo usan esta información para obtener medicamentos costosos con recetas ajenas o cobrar indemnizaciones ficticias.

A pesar de los riesgos evidentes, las grandes tecnológicas siguen apostando por la medicina computarizada. Apple trabaja en un entrenador virtual para monitorizar el sueño, la actividad física y la alimentación. Amazon impulsa la transformación del sistema sanitario con tecnologías avanzadas, y Microsoft desarrolla una innovadora plataforma para gestionar la comunicación entre pacientes y doctores. Veremos qué resulta de estas ideas y si vienen acompañadas de la regulación que tanto hace falta.