真实企业代码基准 Real-SWE：最高解决率仅 38%

iwashi / Yoshimasa Iwase @iwashi86原推发布于 2026.09.13

在 X 上打开原推

実企業の非公開コードでAIを評価したら、最高でも解決率38%にとどまった、という内容だった。 こういう実コードでのベンチは良い。 ・既存のベンチマークは公開OSSや合成タスクに偏っている ・Real-SWEは実在企業の本番コードをライセンス供与されて作成したもの ・請求計算やデータ移行など、事業に直結する複雑なタスクで評価する ・修正が必要なファイル数の中央値は11ファイルと、既存ベンチマークの約2倍 ・単なるコード修正だけでなく、DBや外部APIとの連携も必須 ・指示文から自力で設計や仕様を探索・把握する必要がある ・最高精度のFable 5.1でも解決率は38.8%にとどまった ・続くGPT-6 Astraが33.8%、Gemini 3.8 Flashが31.2% ・全10タスク中6タスクで全体の解決率が15%未満という難しさ ・失敗要因として最も多かったのは要件の見落とし ・実環境を確認せず推測で突っ走る未検証の仮定による失敗も多い ・Gemini 3.8 Flashは周辺システムとの統合エラーが失敗の約半数を占めた ・1回あたりのコストは2.50〜6.96ドルだが、高額なモデルほど優秀とは限らない ・企業独自の設計思想や暗黙のルールを理解する壁は依然として高い https://withspecific.com/benchmarks/real-swe