Una red neuronal ve un barco y "oye" chapoteos inexistentes; científicos diseñan cómo evitar sus alucinaciones

La inteligencia artificial puede analizar simultáneamente imagen, sonido y texto, pero varias fuentes de información no siempre hacen la respuesta más precisa. A veces una cámara de video convencional enmascara los datos del termovisor, y un objeto visto puede hacer que el modelo "oiga" un sonido que no está en la grabación. Dos métodos nuevos ayudan a separar las señales y a evitar que un sistema sensorial sustituya a otro.

Los modelos multimodales de gran tamaño reciben datos en varias formas al mismo tiempo. Pueden describir una grabación de video, responder preguntas sobre la pista de audio, leer documentos, analizar imágenes médicas y comparar las lecturas de distintos sensores. Cada tipo de datos de entrada en aprendizaje automático se denomina modalidad.

Al analizarlas en conjunto, el modelo busca relaciones entre las modalidades. Un mecanismo útil puede al mismo tiempo generar una fuente de errores. La red neuronal se acostumbra a que un bote en el video suele ir acompañado del chapoteo del agua, y que un motor en funcionamiento normalmente hace ruido. Al ver un objeto familiar, el sistema a veces añade un sonido esperado aunque el micrófono no lo haya registrado.

El error funciona también en sentido contrario. Una grabación de audio puede inducir al modelo a describir un objeto o un evento que no está en el encuadre. Los investigadores llaman a esas invenciones alucinaciones intermodales: la información de un canal interviene sin darse cuenta en el análisis de otro.

Surge otro problema al trabajar con cámaras especiales. La mayoría de modelos multimodales se entrenan principalmente con imágenes en color RGB, donde cada píxel contiene información sobre las componentes roja, verde y azul de la luz. Tras ese entrenamiento, la red neuronal aplica las reglas habituales a imágenes generadas por procesos físicos totalmente diferentes.

Una mancha brillante en una fotografía normal puede ser un reflejo o una superficie bien iluminada. En la imagen térmica, el brillo suele estar relacionado con la intensidad de la radiación infrarroja y la temperatura. Un modelo acostumbrado a fotogramas RGB puede tomar una zona calentada por error como un reflejo de luz y describir incorrectamente el estado del objeto.

Las cámaras de profundidad tampoco muestran una fotografía habitual. El valor del píxel codifica la distancia desde el aparato hasta la superficie, por lo que las áreas claras y oscuras pueden indicar objetos cercanos o lejanos. Una radiografía refleja el grado de paso de la radiación a través de materiales y tejidos. Los hábitos cromáticos aprendidos con imágenes normales aquí solo estorban.

Para entrenar con ese tipo de datos desarrollaron el método Diverse Negative Attributes, abreviado DNA. El nombre puede entenderse como optimización sobre rasgos erróneos variados. A los modelos se les muestran no solo las respuestas correctas, sino también los errores característicos que surgen al analizar distintos sensores.

Si la red neuronal toma una zona caliente por un destello de luz, la explicación errónea se convierte en un ejemplo negativo. El algoritmo aprende a distinguir el significado físico de la señal térmica de las características visuales de una fotografía normal. De forma análoga corrigen la percepción de los mapas de profundidad y de las imágenes radiográficas.

Para evaluar el método, crearon el conjunto de pruebas VS-TDX. Reúne datos de cámaras convencionales, térmicas, de profundidad y radiográficas y permite evaluar si el modelo entiende las particularidades de cada dispositivo. Los autores denominan a VS-TDX el primer benchmark integral orientado a sensores visuales tan distintos.

DNA requiere un ajuste adicional del modelo, pero no implica un entrenamiento completo desde cero. Para la corrección basta con un conjunto relativamente pequeño de ejemplos en los que se señalan las propiedades correctas de la señal y las interpretaciones erróneas típicas. Ese enfoque reduce los costos computacionales y ayuda a adaptar un sistema existente al nuevo equipo.

Tras el ajuste, el modelo determina con mayor precisión el estado de los objetos en la oscuridad, en presencia de humo y en otras condiciones en las que la cámara convencional ve poco. El termovisor sigue distinguiendo superficies calientes con poca iluminación, y el algoritmo deja de explicar la imagen obtenida con las reglas de la luz visible.

El segundo método resuelve otra tarea y no requiere entrenamiento adicional. Modality-Adaptive Decoding, o MAD, controla el modelo directamente durante la generación de la respuesta. Antes del análisis, el sistema valora qué datos son más importantes para la pregunta concreta: la imagen, el sonido o su combinación.

Si al usuario le interesa el ruido del motor, el algoritmo refuerza la influencia de la grabación de audio y atenúa las conjeturas visuales. Ante una pregunta sobre el color de un coche, la prioridad la tiene la imagen. Cuando la respuesta requiere ambos canales, el sistema los considera conjuntamente, pero procura no trasladar información de una fuente a otra sin confirmación.

MAD utiliza ramas de decodificación separadas para las distintas modalidades y les asigna pesos de forma dinámica. Después, los resultados se comparan al elegir las siguientes palabras de la respuesta. Un canal no relevante influye menos, por lo que un bote en el encuadre ya no obliga al modelo a informar automáticamente sobre chapoteos si en la pista de audio reina el silencio.

El método se probó en modelos audiovisuales VideoLLaMA2-AV y Qwen2.5-Omni mediante las pruebas CMM y AVHBench. Según el modelo y el conjunto de tareas, la precisión aumentó entre 2 y 8,7 puntos porcentuales. Al mismo tiempo, MAD mantuvo la calidad de las respuestas a preguntas comunes no relacionadas directamente con las alucinaciones. El trabajo fue aceptado en la conferencia CVPR 2026 y está disponible en un archivo abierto.

La principal ventaja de MAD es que evita el reentrenamiento. El método puede conectarse a un modelo ya listo en la fase de generación de texto. Los desarrolladores no tienen que reunir de nuevo un gran conjunto de datos ni ejecutar un costoso entrenamiento para reducir la influencia de las conexiones falsas entre sonido e imagen.

DNA y MAD actúan en distintos niveles. El primer método explica a la red neuronal qué mide cada sensor y corrige la costumbre de interpretar todas las imágenes como fotografías normales. El segundo controla la mezcla de las señales ya reconocidas y no permite que una modalidad dicte la respuesta sobre otra.

Esa combinación es especialmente útil para transporte autónomo. De noche o con niebla, un vehículo puede utilizar simultáneamente cámaras convencionales, termovisores, radares y sensores de profundidad. Un error en el significado físico de la señal conducirá a un reconocimiento incorrecto de un obstáculo, y la confusión entre canales puede convencer al sistema de que un sensor confirmó la lectura de otro aunque no haya confirmación.

Un problema similar aparece en robots que operan en edificios llenos de humo. La cámara convencional casi pierde la visibilidad, mientras que el sensor térmico sigue mostrando personas y objetos calientes. El modelo debe entender el origen de las zonas brillantes y no completar las lecturas con detalles inventados a partir de patrones visuales.

Los desarrolladores también consideran drones con termovisores, equipos de inspección radiográfica en aeropuertos y sistemas de análisis de imágenes médicas. En todos los casos, el error no solo está en el reconocimiento del objeto. El algoritmo necesita interpretar correctamente la señal física y separar con honestidad lo observado de lo supuesto.

Los métodos nuevos no eliminan todas las alucinaciones de los modelos multimodales. DNA depende de la calidad de los ejemplos para cada tipo de sensor, y MAD se apoya en la capacidad del propio sistema para valorar la importancia de los canales de entrada. Sin embargo, ambos trabajos muestran una vía práctica: en lugar de reentrenar por completo, se puede corregir por separado los hábitos sensoriales del modelo y controlar la influencia de la imagen, el sonido y otros datos en el momento de la respuesta.