Polish blogger tests GPT-6 Sol: half the price, no quality surprise
The author says having Astra plan and Sol execute can cut costs with only a small quality gap, but finds Sol 6 lazier and sloppier than Sol 5.6 and suspects a distillation approach.
Dostaliśmy też GPT-6 Sol i GPT-6 Luna. Wygląda na to, że OpenAI kontynuuje wojnę cenową. OpenAI stawia na siłę całego ekosystemu - na to, że najdroższy model nie musi wykonywać każdego kroku. Dlatego 6 Sol i Luna wycenione zostały niezwykle konkurencyjnie. W końcu jeśli Astra planuje zadanie, podejmuje trudne decyzje i sprawdza wynik, Sol może zrobić sporą część pracy w przeglądarce za ułamek jej kosztu. W krótkim teście w przeglądarce, różnica w jakości pomiędzy GPT 6 Astra + GPT 6 Sol vs samo GPT 6 Astra była u mnie zaskakująco mała. Nie widzę za to rewolucji w ogólnej jakości Sola. W serii szybkich 10 promptów, którymi testuje nowe modele w dniu wydania, Sol 6 okazał się bardziej leniwy niż Sol 5.6. Mniej chętnie sprawdzał i stosował założenia projektowe, był bardziej niechlujny i slopowy. Obawiam się, że OpenAI poszła z modelami 6 Sol i 6 Luna tą samą ścieżką co Anthropic z Opusem 5 i Sonnetem 5 - czyli destylacja z większego modelu i intensywny reinforcement learning malutkiego, wydestylowanego modelu. Zazwyczaj końcowym efektem takiej strategii jest dobry wynik w benchmarkach i słaba użyteczność oraz przewidywalność w codziennej pracy. Obym się mylił. Rewolucja jest natomiast w cenie: OpenAI obniżyło stawki Sola o połowę względem i tak taniego poprzednika. Luna również potaniała. W konsekwencji dostajemy teoretycznie nieco lepsze modele, za znacznie mniej. Jest tylko jeden problem z narracją o bezdyskusyjnej przewadze cenowej OpenAI. Anthropic właśnie obniżyło koszt pracy z Opusem 5.5 (co przed chwilą opisywałem) - a Sonnet 5.5 i Haiku 5.5 mają pojawić się za kilka tygodni. Jeżeli OpenAI rzeczywiście poszło w intensywną destylację, to Opus 5 na niższych ustawieniach może być lepszym wyborem niż Sol. Przez najbliższe tygodnie będę intensywnie testował zarówno GPT-6 Sol, Luna jak i Opusa 5.5, żeby to sprawdzić - i jak zawsze podzielę się z Wami wnioskami. Obserwuj mój profil i zapisz się na darmowy newsletter (link w profilu), żeby tego nie przegapić. Co myślisz o nowych premierach OpenAI? Miałeś je już okazję przetestować?