Gemini 4 Pro leak broken down: 88.7% on DeepSWE
A long Japanese post lists leaked Gemini 4 Pro scores including 88.7% on DeepSWE, 95.3% on Terminal-Bench, 86.8 on OSWorld and a GDPval-AA lead, plus a 2M context and low price at roughly 60% confidence.
おっ、これはGeminiの時代ガチで来るかも。 Gemini 4 proのベンチマークリーク。※個人的確度60% 最近重視されてるベンチで主要モデルを圧倒してる。 2MContextはガチっぽいな。革命だ。安いし。 これらのベンチは結構重要なので簡単に覚えておくのがおすすめ。 ・DeepSWE v1.1 113件の実践的なソフト開発課題。既存コードを調べ、機能追加や修正をして、動作テストを通せるか ↓ 88.7%。Opus 5.5より14.5ポイント、Astraより14.6ポイント高い。事実なら非常に大きな差。めっちゃ実装力高いかも…？？って話 ・Terminal-Bench 2.1 89件のターミナル作業。プログラミング、環境設定などをコマンドで完了できるか。 ↓ 95.3% 対 約88%で、約7ポイント高い。 PCを操作して色々面倒なセットアップ出来る力が高い ・OSWorld 2.0 108件の長いPC操作。複数の画面や資料を行き来して仕事を進められるか。 ↓ 6.8 対 81.8／72.6で、数字上は5.0／14.2ポイント高い。 最近はComputerUseのニーズが上がってるから本当ならアツい。 ・GDPval-AA 文書・表計算・スライドなど、職業上の成果物の品質。匿名の成果物を比較してEloで評価する（人間投票） ↓ 他の主要モデルよりも、「人間好みの資料」を作る能力が高そう。v2.0だけど。 2Mトークン、入力$2.25／出力$11.25はどうだろうね。価格が本当なら、トークン単価はOpus 5.5より約44%、Astraより約78%安い計算。 実際には必要トークンも関わってくるけど。 独自のTPU持ってるGoogleだとありえなくもない安さ。
This post quotes another post: “Chinese post jokes about unverified Gemini 4 Pro benchmark sheet before DevDay”