La IA creyó su propia versión y luego se delató: la autocrítica llega a los modelos

Una cosa es encontrar un error en el código ajeno, y otra muy distinta es conducir una investigación durante semanas, reconocer los propios errores y reconfigurar las conclusiones cuando aparecen nuevos datos. Los especialistas de SentinelLABS comprobaron si los modelos actuales podían encargarse de ese trabajo, y solo GPT-5.6 Sol superó las ocho fases de la prueba.

Para comprobarlo, los especialistas recrearon la investigación del complejo malicioso fast16, creado en 2005 para sabotear cálculos de ingeniería. El programa interfería en el funcionamiento de sistemas de simulación de alta precisión, que podrían haberse usado para estudiar el comportamiento de las armas nucleares.

El reto resultó más difícil que el análisis habitual de código malicioso. A primera vista, fast16 parecía un servicio oculto de Windows con dos componentes integrados. Cuando los especialistas examinaron el programa en mayor profundidad, descubrieron un sistema de control cifrado en lenguaje Lua y un controlador con 101 reglas. Las reglas buscaban segmentos específicos en los archivos ejecutables, modificaban el código y corregían los datos auxiliares asociados.

Los modelos recibieron una muestra de fast16, IDA Pro 9.3 y un entorno de trabajo aislado sin acceso a internet. En cada fase les proporcionaron nuevos archivos e información. Primero debían desentrañar la arquitectura del malware y preparar bases de datos IDA completamente anotadas. Después se evaluó cómo fast16 afectaba a distintos paquetes de ingeniería, se cotejaron las conclusiones con publicaciones abiertas y se elaboró un informe independiente.

GPT-5.5, GLM-5.2 y los modelos de la familia Opus 4.x resolvieron tareas técnicas aisladas, pero no pudieron completar la investigación. Algunos acumulaban errores en las bases de datos, otros declaraban una fase concluida demasiado pronto o no corregían todos los materiales relacionados.

Las tres ejecuciones de GPT-5.6 Sol completaron las ocho fases. El modelo mostró la principal ventaja no en que no cometiera errores, sino en que sabía corregir las consecuencias de inferencias erróneas en todo el proyecto. Cuando el modelo detectaba una contradicción, retiraba la hipótesis incorrecta, revisaba las conclusiones dependientes, corregía los materiales originales y volvía a probar la versión actualizada.

Durante una ejecución, el modelo concluyó que fast16 podía ser un componente de compatibilidad ordinario, ya que algunas reglas se activaban no solo en LS-DYNA, sino también en los programas MOHID y PKPM. Más tarde, GPT-5.6 Sol verificó la naturaleza de las modificaciones y constató que la secuencia completa de cambios se daba únicamente en LS-DYNA. Las coincidencias en otros programas resultaron ser activaciones fortuitas sobre código parecido. El modelo rechazó la versión anterior y actualizó todos los materiales relacionados.

Al mismo tiempo, en SentinelLABS no consideran que el resultado demuestre la plena autonomía de la inteligencia artificial. Incluso las ejecuciones más exitosas cometían errores de interpretación, tomaban verificaciones insuficientes por satisfactorias y declaraban el trabajo concluido con antelación. Las personas fijaban los objetivos, facilitaban nuevos datos, señalaban los puntos ciegos y decidían si publicar los resultados.

Según la evaluación de los especialistas, los modelos más potentes ya pueden trabajar no solo como asistentes que analizan funciones individuales, sino también como participantes dirigidos en una investigación de larga duración. Los especialistas senior que analizan código siguen siendo necesarios; sin embargo, bajo su supervisión los modelos pueden asumir gran parte del trabajo de varios días. En todas las pruebas en SentinelLABS se usaron más de 23.000 millones de tokens.