Astra solves unpublished physics problems, corrects experts to 98%
In a test of 50 unpublished theoretical physics problems, GPT-6 Astra flagged errors in expert model answers that proved correct, raising its accuracy to 98%.
数学の次は理論物理学だ。Astraに未発表の研究問題を解かせてみたところ、専門家が用意した模範解答の方が間違っていると主張し、その指摘は正しかったという。これは、AIが人間の専門家を超えたことの明確な証拠だ。人間はAIの答えを採点する側から、AIの答えを学ぶ側へと移り始めている。 ジャック・クラーク「ここで、このテスト（世界各国の物理学者が作成した、未発表の理論物理学の研究問題50問をAIに解かせる評価）の作成者の一人であるインドの物理学者、スジャット・ラジュ氏の言葉を引用したいと思います。彼は結果についてFacebookに投稿しています。「AIの助けなしに、今回集めた問題の相当数を解ける人間を、私は一人も知りません」 彼によると、最初の評価ではGPT-6 Astraの正答率は80％台後半で、Opus 5.5が僅差で続いていました。しかし、モデルが間違えたと思われる箇所を調べ始めると、モデル、特にAstraは、自分の答えが正しく、専門家が用意した模範解答の方が間違っていると主張したのです。そこで専門家に再確認してもらったところ、複数のケースで、専門家自身が計算の奥深くに潜んでいた微妙な誤りを発見しました。そして専門家たちが解答を修正するにつれて、Astraの正答率は徐々に上がり、最終的には98％に達しました。50問中49問の正解です。 考えてみてください。世界有数の科学者たちが、AIが答えを事前に知り得ない問題を集めてテストを作ったのです。そしてAIをテストしたところ、高得点を取っただけではありません。人間が作成した解答の誤りを発見することで、さらに得点を上げたのです。 映画では、たいてい物語の3分の2ほど進んだところで、若い主人公が師匠に対して、自分はもう独り立ちできると証明する場面があります。それは、師匠が弟子になり、弟子が師匠になるという、おなじみの物語の展開です。 先週、まさにそれが起きたのです」