1M context in practice: Astra loses ground on long-text reasoning
Much of the advertised long context is extrapolated, and on GraphWalks Astra drops from 98.7 within 128k to 71.8 at 256k-1M, showing that finding things well is not the same as reasoning well.
很多模型标的 1M 上下文，真正训过的可能只有 256k 左右，剩下的是推理时外推出来的。 长上下文是分阶段训的。预训练大部分时间只用 4k 到 8k 的短序列，后期再单独加一段长文本训练，把窗口拉到 128k 或 256k，这才是模型真正见过的长度。再往上，很多靠 YaRN 这类位置编码插值，推理时把位置压缩一下，让模型能吃下比训练时更长的输入。开源模型看 config 最清楚，比如 Qwen3.8-27B 原生 262,144，官方写的是可以扩展到 1M。闭源模型基本不公开训练长度，只能看评测。 能塞进去和能用好是两回事。Google 发 Gemini 4 Argon 时自己跑了一张 GraphWalks 的表，在长文本里遍历图结构，128k 以内 → 256k 到 1M： Gemini 4 Argon 99.7 → 84.2 GPT-6 Astra 98.7 → 71.8 Claude Opus 5.5 90.6 → 66.8 Claude Fable 5.1 91.4 → 65.0 128k 以内大家都很高，一过 256k 就拉开了。最稳的 Argon 也掉了 15 个点，Astra 和 Fable 都掉了 26 个点左右。 再看 OpenAI 的 MRCR v2 8-needle，在长文本里找回第 n 条指定内容。Astra 在 512k 到 1M 还有 96.3%，上一代 GPT-5.6 Sol 只有 73.8%。老模型就更惨了，GPT-5.4 到 512k 到 1M 只剩 36.6%，Gemini 3.1 Pro 128k 时 84.9%，到 1M 直接 26.3%。DeepSeek V4 256k 以内还有 82% 以上，到 1M 掉到 59%。 还有个挺有意思的点，同一个 Astra，MRCR 在 1M 有 96.3%，GraphWalks 在 256k 到 1M 只有 71.8%。在长文本里找东西和在长文本里推理是两种能力，标称 1M 只能说明它塞得进去。