La ciencia, inundada por la “neurobasura”: un nuevo sistema de IA aprende a detectar falsificaciones no por las palabras, sino por los pensamientos.

Investigadores han creado una inteligencia artificial que intenta determinar quién ideó el contenido de un artículo científico: una persona o una IA. El nuevo sistema IdeaLens estudia los argumentos, las pruebas y el razonamiento, prestando casi nula atención al estilo de redacción. Durante las pruebas, el algoritmo reconoció el 91,1% de los documentos completamente generados y se equivocó con mucha menos frecuencia cuando los científicos usaron la IA solo para editar sus propios trabajos.

Las revistas científicas se enfrentan cada vez más a publicaciones que las IA prepararon casi sin la participación de los investigadores. Al mismo tiempo, muchas revistas permiten a los autores corregir el idioma y mejorar las formulaciones con ayuda de la inteligencia artificial, siempre que las ideas principales pertenezcan a los propios científicos. Resulta cada vez más difícil distinguir dónde termina la edición habitual y empieza la investigación realizada por máquinas.

Los detectores de IA habituales buscan palabras características, giros repetitivos y frases demasiado predecibles. Sin embargo, una persona puede perfectamente realizar un experimento, escribir el artículo y luego pedir a ChatGPT que mejore el inglés. Tras la edición, la verificación a veces toma un trabajo científico auténtico por uno generado por máquinas. El problema afecta especialmente a los investigadores cuyo inglés no es su lengua materna.

Los creadores de IdeaLens propusieron examinar con mayor profundidad. Primero, un modelo de lenguaje descompone el documento y elabora un plan detallado, conservando las afirmaciones principales, los argumentos y las pruebas. Se eliminan las formulaciones originales para que el estilo del autor no influya en la evaluación. Luego, otro algoritmo estudia la estructura resultante e intenta determinar si el contenido fue ideado por una persona o por una inteligencia artificial.

Los desarrolladores hallaron una pauta curiosa. El razonamiento humano suele contener detalles concretos, datos verificables, limitaciones y explicaciones de por qué las conclusiones pueden ser erróneas. Las IA a menudo construyen razonamientos más fluidos, pero respaldan las afirmaciones con argumentos generales. A veces el algoritmo aporta cifras sin el contexto necesario o saca conclusiones para las que faltan pruebas. IdeaLens aprende a notar esas diferencias, aunque los investigadores aún no pueden explicar por completo en qué indicios se basa el sistema en cada decisión.

Los resultados más interesantes surgieron cuando los autores separaron intencionadamente la creación de ideas y la redacción. En un experimento, las personas elaboraron planes detallados y las IA los convirtieron en documentos completos. El popular detector Pangram etiquetó como generadas por máquinas el 92% de los trabajos obtenidos. IdeaLens señaló solo el 7%, pues reconoció el origen humano de las ideas principales. Cuando los planes los hizo la IA, el nuevo sistema detectó contenido generado por máquinas en más del 96% de los casos.

Otro experimento mostró hasta qué punto la edición habitual confunde las herramientas de verificación existentes. Los investigadores tomaron textos humanos y pidieron a las IA corregir las formulaciones, mejorar el estilo o parafrasear el contenido. IdeaLens identificó correctamente el origen humano de las ideas en aproximadamente el 95% de los casos. Pangram lo logró solo en el 44% de los documentos, aunque los autores no pidieron a la IA que inventara el contenido.

Comprobación inversa también fue evaluada. Los participantes recibieron 50 planes de relatos creados por IA y escribieron a partir de ellos obras completas. IdeaLens reconoció la base artificial en el 68% de las historias, mientras que Pangram la detectó solo en el 8%. Así, el nuevo algoritmo parece capaz de identificar huellas de trabajo de IA incluso después de que una persona reescriba completamente el material original con sus propias palabras. Cabe señalar que la prueba se realizó con relatos de ficción y no con artículos científicos.

En total, los investigadores evaluaron el sistema con 19 conjuntos de datos que incluían documentos completamente humanos y generados por máquinas. IdeaLens detectó en promedio el 91,1% de los textos creados por IA y acusó erróneamente a autores humanos solo en el 0,6% de los casos. Pruebas adicionales abarcaron 24 idiomas. Aunque el sistema se entrenó con materiales en inglés, tras convertir los textos extranjeros en planes en inglés el algoritmo mantuvo una alta precisión.

Para el entrenamiento, los desarrolladores reunieron alrededor de un millón de documentos, incluidas publicaciones científicas, noticias, relatos y entradas de blog. Primero Pangram clasificó los materiales en dos categorías, humanos y generados por máquinas. Luego, modelos de lenguaje transformaron los textos en planes con los que se entrenó IdeaLens. Este enfoque tiene un punto débil: los investigadores no verificaron manualmente el origen de cada documento. Si el detector inicial cometió errores, las etiquetas incorrectas pudieron influir en el entrenamiento del nuevo sistema.

El principal problema sin resolver concierne a los trabajos en los que la persona y la IA piensan conjuntamente. Por ejemplo, un científico propone una hipótesis, la discute con ChatGPT, obtiene varios argumentos nuevos y, a partir del intercambio, cambia la dirección del experimento. ¿A quién pertenece finalmente la idea? IdeaLens aún no puede evaluar de forma fiable la contribución de cada participante y solo ofrece dos opciones: humano o IA. Los estudios verdaderamente colaborativos todavía no han sido evaluados por los desarrolladores.

Los autores abrieron el acceso a IdeaLens y publicaron el código del programa. En el futuro, la herramienta podría ayudar a las editoriales de revistas científicas a encontrar publicaciones sospechosas y, al mismo tiempo, a proteger a los investigadores honestos de acusaciones erróneas. Sin embargo, los desarrolladores advierten que el resultado de una verificación automática no debe considerarse prueba de fraude. Incluso si el algoritmo determina correctamente el origen de las ideas, la validez científica de las conclusiones deberá ser verificada por personas. Una IA puede proponer una idea, pero solo estudios completos pueden demostrarla o refutarla.