arXiv study: context engineering hurts top models like Astra, helps weaker ones
A study across 7 models and 1,514 data tasks finds Astra and Opus 5.5 score highest without orchestration, which drops them 5–8 points, while weaker models gain a lot.
在企业级数据智能体的工程实践中，要想让 Agent 处理复杂的异构数据库和业务指标，必须配齐上下文工程的三大件：语义层、多智能体编排、上下文压缩。 我们都默认这套脚手架搭得越严密，Agent 就会越聪明。 但由 Dan Roth 领衔的团队刚刚在 arXiv 上发表的一篇大规模实证研究，给出了相反的论调Same Context, Different Agents: A Behavioral Study of Semantic Layers, Orchestration and Compaction in Data Agents 这项跨越 7 款前沿大模型、5 大基准数据集以及 1,514 个真实长程数据任务的研究，揭示了那些能把平庸模型从及格线边缘拯救上来的最佳工程实践，套在真正顶尖的大模型身上是一种限制。 论文首先发现了大模型之间根本无法一概而论的行为学鸿沟。不加任何上下文修饰时，主流模型天然分化成了三大流派。 第一类是如 Claude Opus 5.5、GPT-6 Astra、Sonnet 5.5 这类的模型，天生具备深度追溯本能，不查阅最底层的原始表数据不罢休。 第二类是比如 GPT-5.5 这二种的极度浮躁，看到 Prompt 就急着直接回答问题，很少主动去运行 SQL 或翻看底层数据，基线准确率低至 21.4%。 最后一种是类似 GPT-5.4、Gemini 2.5 Flash、GLM-4.7-Flash，抗挫力较差，面对多步异构检索时，稍微遇到报错或逻辑变长就很容易崩，基线准确率普遍在 14%~24% 徘徊。 研究团队对这 7 款模型施加了三大技术的全部 8 种排列组合，结果在没有任何多 Agent 编排、语义层和压缩介入的极简环境下，GPT-6 Astra 和 Claude Opus 5.5 分别拿下了 69.6% 和 68.8% 的全场最高分。 一旦加上 Orchestration 多智能体编排，得分反而大幅暴跌了 5 到 8 个百分点。 原因是因为外挂的语义层反而阻碍了顶尖模型直接下探真实原始表的冲动。多 Agent 拆解任务诱发了模型盲目的过度自信，而上下文压缩则经常让它们陷入死循环。 对于 GPT-5.5，多智能体编排强制它进行子任务分解和证据搜集，准确率从 21.4% 涨到 58.1%！ 面对稍微复杂就早退放弃的 GPT-5.4 和 Gemini Flash，提供详尽的元数据语义层配合编排，能帮它们搭起认知梯子，准确率直接实现翻倍，GPT-5.4 从 21.0% 升至 40.1%，Gemini 从 24.6% 提升至 29.2%。 但是这种叠加并非是线性的，多项技术叠加并不一定带来双倍收益，但语义层 + 压缩有极佳的性价比，能够在极少损耗甚至小幅提升精度的同时，将长程任务的 Token 显存开销砍掉大半。 其实脱离具体底层模型的行为特质去谈上下文工程，就是无源之水。 如果你的底座是顶尖的推理模型，最明智的工程做法是给它足够干净的工具和原始数据，把自由探索权留给模型，过多的 agent 限制只会束缚它的推理本能。 而如果出于成本考虑选择轻量级模型或中端基座，就必须极其严苛，用严密的业务语义层和细颗粒度的编排链路把它在规范的轨道上。 推荐搭建 Text-to-SQL、企业知识库分析与复杂数据 Agent 的架构师读这篇 arxiv：https://arxiv.org/abs/2610.20959