Reflecting on whether agent logic belongs in the model or the app layer

纳米AI @antiAIvoOriginally posted 2026.10.05

Open original on X

这篇文章的分析角度给了我很大启发 这也是我自学LLM的最大痛点 见过树，却未见过森林 没有人指导交流，只有AI常伴左右 这篇文章的意思是： 大模型的用法太死板了 ChatGPT 出来以后 模型基本都是同一种写法： 一段文字进去，一个字一个字往外蹦 做 agent 的人没去改模型，全在外面加壳： 工具调用、上下文压缩、多轮拼接 让任务去凑这种写法 他问的是：任务已经知道该怎么跑了 能不能把模型也改成更贴这个任务的写法 他举了两个方向： 一个是 agent 轨迹 老历史用循环状态记个粗摘要 眼前这轮用正常注意力细看 这样不用每次手动压缩上下文 另一个是 Jev 这种 输出不让它自由生成句子，只给一个 0 到 1 的判断 速度快，能当模糊 if 用，已经有人塞进 RLM 里 我学的还是太浅了 我从来没思考过 Agent这些工作可以放在LLM里面 就像编程里 哪些逻辑该写进编译器/语言，哪些该写在应用层？

This post quotes another post: x.com/a1zhang/status/2103877248960868749