TheoPhysEval: GPT-6 Astra solves 98% of unpublished physics problems
On 50 unpublished physics research problems, GPT-6 Astra solved 98% and Opus 5.5 92% at under $3 per problem; the authors note AI still lacks the taste to set research direction.
Nowy preprint TheoPhysEval (arXiv:2610.16733) to kilkudziesięciu fizyków teoretyków z ICTS, TIFR, Harvardu, Penn i innych ośrodków, którzy przygotowali 50 niepublikowanych problemów badawczych z różnych działów fizyki: od mechaniki płynów i biofizyki, przez materię skondensowaną, po QFT, holografię i kosmologię. Każde zadanie to coś, co ekspert z danej dziedziny rozwiązałby w mniej więcej dzień. Wyniki robią wrażenie. GPT-6-Astra rozwiązała 98% zadań, Opus 5.5 92%, przy koszcie poniżej 3 USD za problem. Agent sam szuka literatury, pisze kod numeryczny i dochodzi do odpowiedzi. Bez dostępu do internetu trafność spada tylko nieznacznie, co sugeruje, że modele zapamiętały ogromną część literatury fizycznej. W kilku przypadkach to AI miała rację, a autorzy zadań się pomylili. Autorzy podkreślają jednak, że liczenie to tylko ostatni etap badań. Wcześniej trzeba zbudować teorię, zadać właściwe pytanie i zmienić kierunek, gdy coś nie działa. Tego „smaku” agentom wciąż brakuje, dlatego ludzie nadal wyznaczają kierunek. Są też praktyczne konsekwencje. Takie zadania przestają się nadawać na pierwsze projekty dla doktorantów, a dostęp do mocy obliczeniowej może pogłębić nierówności w nauce. Puenta autorów: po epoce „shut up and calculate” przychodzi czas na „stop and think”.