SGLang 新增 /v1/systemone,兼容 TypeSafe SDK
SGLang 把 LLM 当分类/打分模型用,并新增兼容 Jev 的 /v1/systemone,让 Noul/Choice/Score 接口能套到开源模型上。
SGLang 刚把 Qwen3.8-27B 玩成了一个 100ms 以内做决定的多模态 Decision Model,一路打穿《宝可梦火红》的四天王和冠军。 但宝可梦其实只是 Demo,后面这个更新更值得注意。 SGLang 新增了原生的 /v1/decisions。现在一个普通 LLM/VLM,可以直接被当成 classification / scoring model 来用。 比如给它一张图、一段文字或者实时游戏画面,然后问: 这个情况应该执行 A、B 还是 C? 风险等级是多少? 这件事要不要继续? 下一步往哪个方向走? 模型不会先写一大段话,再让程序从 JSON 里抠答案。 它直接给你 decision,以及每个选项对应的 probability。 这其实和 Jev 最近在做的事情是同一条路:把模型从「负责生成」的位置,往「负责判断」的位置挪。 更关键的是,SGLang 这次还加了 /v1/systemone,兼容 TypeSafe SDK。也就是说 Jev 这套 Noul / Choice / Score 的 typed decision 接口,现在可以直接套到更多开源模型上。 我之前一直觉得 Agent 下一阶段有一个很容易被低估的问题: LLM 已经很会执行了,但一个 Harness 真正缺的,经常是一个便宜、快、稳定,能够不停回答「继续吗」「选哪个」「做得对吗」的判断层。 现在这层开始逐渐变成基础设施了。 以后一个 Agent 里,负责干活的模型可能越来越大;负责在每一步盯着它、打分、分类、决定要不要继续的模型,反而会越来越快。
这条是引用着另一条写的:「SGLang 加 /v1/systemone 让 Jev 类模型接入 TypeSafe SDK」