Gemini 3.8 Flash and Muse Spark 1.3 scores collapse on Terminal-Bench 4.0
SemiAnalysis says Gemini 3.8 Flash and Muse Spark 1.3 appear tuned to the old Terminal-Bench 2.1, dropping sharply on 4.0 while GPT-6 Astra still scores around 59%.
Gemini 3.8 Flash 和 Muse Spark 1.3 在 Terminal-Bench 2.1 上的分，基本就是刷出来的。 SemiAnalysis 刚把这两个模型点了出来。 旧版 Terminal-Bench 2.1 上，Gemini 3.8 Flash 接近 90%，Muse Spark 1.3 也在 85% 以上。一个 Flash，一个 Spark，成绩已经能跟 GPT-6、Fable 5.1 这种旗舰模型打平。 然后 Terminal-Bench 换到 4.0。 Gemini 3.8 Flash 只剩 20% 左右，Muse Spark 1.3 直接掉到 十几分。 GPT-6 Astra 还有 59% 左右，Fable 5.1 也在 52% 左右。 所有人都换了卷子，偏偏之前在 2.1 上最离谱的两个模型掉得最狠。 这已经很难说只是 Benchmark 变难了。 更合理的解释是，这两个模型围着 Terminal-Bench 2.1 做了大量针对性优化。post-training、agent harness、system prompt，甚至整个 release 流程都可以往一套公开 Benchmark 上爬。 不用真的把答案喂进去，也能把分刷得很好看。 所以 Gemini 3.8 Flash 和 Muse Spark 1.3 真正暴露的问题是，它们在 Terminal-Bench 2.1 上拿到的高分，根本不能等价成真实能力。 卷子公开久了，模型公司就开始研究怎么考高分。 这也是为什么 SemiAnalysis 现在更信 private eval。 模型公司不知道考什么的时候，那个分才稍微像点真的。
This post quotes another post: x.com/semianalysis_/status/2097112791471522292