Astra catches errors in physics benchmark answers, score rises to 98%
On a new theoretical physics benchmark where each problem takes an expert up to a day, GPT-6 Astra initially scored near 90%; when reviewing its wrong answers it insisted its formulations were correct, and the experts' solutions did contain errors, raising its final score to 98%.
Muy interesante el testimonio que se recoge en este paper donde se presenta un nuevo benchmark de preguntas teóricas de física. Cada pregunta le llevaría a un experto mundial en la materia un máximo de 24h, y con ellas se ha buscado medir el nivel de los modelos actuales. Inicialmente GPT-6 Astra consiguió una muy buena puntuación cercana al 90%, lo cuál ya es sorprendente. Aún así cuando investigaron dónde se encontraban los errores que la IA había cometido, Astra insistía en que su formulación era la correcta, y que debía de haber algún tipo de error en los cálculos de los expertos humanos que habían diseñado esas soluciones. Efectivamente lo había, la puntuación de Astra final fue del 98%