Korean blogger on DevDay: Sol 6.1 is cheap, but Astra still isn't
After seeing the Terminal-Bench 4.0 chart, the author says GPT-6.1 Sol beats Astra and Opus 5.5 while costing 6-12x less, but mixing in Astra burns quota faster, so the $500 plan's value is still unclear.
왜 이렇게 샘 알트먼과 티보는 호들갑을 떨었을까? OpenAI DevDay를 직접 본 사람은 알겠지만, 솔직히 기억에 남는 건 카운트다운 리셋 퍼포먼스와 Dots 외에는 딱히 없었음. 새로 출시된 'GPT-6.1 Sol'도 아스트라보다 좋은 성능에 압도적으로 저렴하다고 홍보하긴 했지만.. 지금 클로드 Opus랑 Sonnet 5.5가 워낙 코딩을 잘해주고 있어서 "굳이 갈아탈 메리트가 있을까?" 싶었음. 근데 공개된 벤치마크(Terminal-Bench 4.0) 차트를 직접 눈으로 보니까 결과가 생각보다 더 충격적임. 성능은 자사 플래그십 Astra(58%)와 앤트로픽 최상위 Opus 5.5(59%)를 뛰어넘는 63% 수준인데, 비용이: - Claude Fable 5.1 대비 약 12배 저렴 ($18 ➡️ $1.5) - Claude Opus 5.5 대비 약 9배 저렴 ($14 ➡️ $1.5) - GPT-6 Astra 대비 약 6배 저렴 ($9 ➡️ $1.5) 태스크당 14달러, 18달러씩 깨지던 터미널 코딩 작업을 혼자 1.5달러 선에서 끝내버리는 중. 그럼 모델이 저렴해졌으니 "한도가 10배로 줄어도 기존 쓰던 만큼은 쓰겠네"라고 볼 수도 있겠지만, 이건 Sol 6.1만 이렇고 플래그십 Astra는 여전히 비쌈. (앞으로 나올 6.1 Astra도 결코 싸게 나오진 않을 듯). 지금 당장 Sol 6.1만 쓴다면 이전과 비슷한 체감 사용량일 수 있어도, Astra를 섞어 쓰는 순간 한도가 훨씬 빠르게 증발할 수밖에 없음. 그리고 이번에 새로 나온 500달러 플랜의 경우 사용량 25배에 6배 빠른 패스트 모드(Ultrafast)를 쓸 수 있다고 하지만.. 그만큼 토큰도 6배 빠르게 차감되기 때문에 실제로 이걸 감당하면서 쓸 사람이 얼마나 있을까 싶긴 함. 사실 개인적으로 500달러 플랜을 꽤 기다리긴 했는데 아직은 잘 모르겠음. 일단 새로 나온 6.1 Sol을 집중적으로 굴려봐야 이 500달러 플랜이 진짜 돈값을 할지 아닐지 판단이 설 것 같음.