¿Dos respuestas correctas más? Serán 1.852 dólares: la IA casi iguala a los matemáticos y convierte la inteligencia en un lujo

La IA se acercó mucho a los problemas con los que suelen trabajar matemáticos profesionales, pero por las mejores respuestas hay que pagar mucho más. En la tercera prueba de First Proof el conjunto ProofCouncil resolvió nueve de las 10 tareas de investigación, la ejecución directa de GPT-6 Astra resolvió siete, y el sistema basado en Kimi K3 no resolvió ninguna.

Los organizadores prepararon 10 problemas de geometría, topología, estadística y otras áreas. No publicaron las soluciones completas en internet, por lo que los modelos no pudieron simplemente encontrar una respuesta conocida en una búsqueda ni reproducir texto de una fuente abierta. A cada sistema le dieron 24 horas y se excluyó completamente la ayuda humana.

ProofCouncil obtuvo el resultado más alto. La interfaz de software utiliza GPT-6 Astra, divide el trabajo en etapas, recurre varias veces al modelo y verifica los razonamientos intermedios. Este enfoque elevó el resultado de Astra de siete soluciones correctas a nueve, pero el coste aumentó de $36 a $1888 por todo el conjunto de problemas.

La diferencia muestra bien el papel que empiezan a jugar los recursos computacionales. Ya no basta con un modelo potente para obtener el resultado máximo: ejecuciones adicionales, comprobaciones y intentos repetidos permiten corregir errores y llevar la demostración hasta el final. Como resultado, un investigador con un presupuesto mayor puede obtener de ese mismo modelo básico mucho más.

Sin embargo, los gastos por sí solos no garantizan el éxito. Kimi K3, modelo de pesos abiertos, consumió recursos computacionales por un valor aproximado de $2000, pero los expertos encontraron errores graves en todas sus respuestas. Los pesos abiertos permiten descargar la red neuronal y ejecutarla en el propio equipo, lo que resulta especialmente cómodo al trabajar con datos cerrados, pero en matemáticas complejas el sistema probado aún quedó muy por detrás de los competidores cerrados.

Incluso los líderes de la prueba todavía cometen problemas que son importantes para el trabajo científico real. Los expertos consideraron las referencias a investigaciones previas suficientes solo en cuatro de las 10 respuestas de GPT-6 Astra y en siete respuestas de ProofCouncil. Al mejor sistema aproximadamente un tercio de las soluciones también recibió calificaciones negativas por la calidad de la exposición.

En comparación con la ronda anterior, tanto ProofCouncil como GPT-6 Astra resolvieron correctamente dos problemas más. First Proof planea realizar la siguiente prueba en la primera mitad de enero de 2027. Los organizadores planean evaluar por separado los sistemas cerrados y los modelos de pesos abiertos para entender con más precisión dónde exactamente comienzan a equivocarse los modelos abiertos.