TheoPhysEval: Astra on Codex solves 49 of 50 physics problems
A 35-researcher evaluation found GPT-6 Astra on Codex answered 49 of 50 unpublished theoretical physics problems and Opus 5.5 answered 46, though authors say AI still lacks research taste.
理論物理の研究レベルの問題50問を、AIが49問正解しました。しかも人間のヒントなしで、1問あたり平均3ドル未満。では、AIは物理学の大発見もできるのでしょうか。 「TheoPhysEval」は、世界各地の理論物理学者とAI研究者ら35人が協力し、AIの研究計算能力を検証した大規模な共同評価研究です。新しい物理理論の発表ではなく、第一線の科学者たちがAIの実力を測った点が特徴です。 理論物理11分野の専門家が提供したのは、既存の研究成果を既知の手法で新しい条件に拡張する未発表の50問。 文献検索やコード実行を使える条件で、GPT-6-Astra（Codex上）は49問、Claude Opus 5.5も46問に正答しました。AIの誤答を調べ直したところ、専門家の模範解答に誤りが見つかった事例もありました。 しかし著者らは、これほどの計算能力があっても、理論物理ではまだ顕著なAI主導の大発見は見られないと指摘します。 科学研究には計算の前に、理論を構築し、重要な問いを選び、計算可能な問題に落とし込む工程があります。行き詰まったときに研究の方向を切り替える力や、何が科学的に面白いかを見極める「研究のセンス」は、現在のAIにはまだ乏しいように見えるというのです。 ただし、これは著者らの経験に基づく観察であり、実験で検証された結論ではありません。 今回の評価も各エージェント1回のみで、採点は最終的な答えに限られます。それでも、従来は大学院生の研究課題だった計算の一部をAIが低コストで解けるようになったことで、若手研究者への課題も、成果を得るためではなく、研究手法を学ぶためのものとして見直す必要が生じています。 計算をこなす能力から、何を研究する価値があるかを見極める能力へ。 かつての「黙って計算しろ」から「立ち止まって考える」へ。著者らは、そんな科学研究の転換の可能性を示しています。 TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving. ArXiv:2610.16733