物理基准测试中 Astra 纠出题方算错,得分升至 98%
新物理理论基准每题需专家一天,GPT-6 Astra 初评近 90%,复查错题时坚持自己正确,结果专家答案确有误,最终得分 98%。


Muy interesante el testimonio que se recoge en este paper donde se presenta un nuevo benchmark de preguntas teóricas de física. Cada pregunta le llevaría a un experto mundial en la materia un máximo de 24h, y con ellas se ha buscado medir el nivel de los modelos actuales. Inicialmente GPT-6 Astra consiguió una muy buena puntuación cercana al 90%, lo cuál ya es sorprendente. Aún así cuando investigaron dónde se encontraban los errores que la IA había cometido, Astra insistía en que su formulación era la correcta, y que debía de haber algún tipo de error en los cálculos de los expertos humanos que habían diseñado esas soluciones. Efectivamente lo había, la puntuación de Astra final fue del 98%