Jev 与开源 Jev-Like 模型的 RAG 路由实测

大數軟體LargitData @LargitData1原推发布于 2026.09.20

在 X 上打开原推

Jev 一紅，社群就開源了許多 Jev-Like 模型，但到底行不行，我們實測一下！ 我做了一個 RAG Agent Routing Benchmark，這次不測回答品質，而是看 Agent 能不能判斷該查知識庫、讀文件、上網、呼叫工具、追問使用者，還是直接回答。 100 題多輪對話結果： Gemma 4 31B（約束編碼）：77.0% Jev：61.4% djev-spark：32.2% SemIf：24.0% Laya 322M：0% 有趣的是，只看「答案去哪裡找」，Gemma 90.0%、Jev 90.6%，幾乎一樣。真正拉開差距的是多輪狀態更新，例如「接下來只看這份文件」這種限制能不能一路維持。 Jev 雖然沒有LLM 這麼準，但優勢就是速度快，p50 749ms、p95 818ms。 開源方案中，djev-spark 已具備基本 Routing 能力，但 Scope 切換還不穩；SemIf 在權限與拒絕情境較弱；Laya 很快，p50 只有 189ms，但未微調前幾乎不能直接用。 看來快速拼湊的開源專案，還是一時半刻打不過人家要拿來賣錢的，但後勢可期！