Benchmarking Jev and open-source Jev-like models on RAG agent routing
The author built a RAG agent routing benchmark of 100 multi-turn questions: Gemma 4 31B scored 77.0%, Jev 61.4%, djev-spark 32.2%, SemIf 24.0% and Laya 322M 0%; Jev reached 90.6% on deciding where to find answers but was weak at multi-turn state updates, with a p50 of 749ms.
Jev 一紅，社群就開源了許多 Jev-Like 模型，但到底行不行，我們實測一下！ 我做了一個 RAG Agent Routing Benchmark，這次不測回答品質，而是看 Agent 能不能判斷該查知識庫、讀文件、上網、呼叫工具、追問使用者，還是直接回答。 100 題多輪對話結果： Gemma 4 31B（約束編碼）：77.0% Jev：61.4% djev-spark：32.2% SemIf：24.0% Laya 322M：0% 有趣的是，只看「答案去哪裡找」，Gemma 90.0%、Jev 90.6%，幾乎一樣。真正拉開差距的是多輪狀態更新，例如「接下來只看這份文件」這種限制能不能一路維持。 Jev 雖然沒有LLM 這麼準，但優勢就是速度快，p50 749ms、p95 818ms。 開源方案中，djev-spark 已具備基本 Routing 能力，但 Scope 切換還不穩；SemIf 在權限與拒絕情境較弱；Laya 很快，p50 只有 189ms，但未微調前幾乎不能直接用。 看來快速拼湊的開源專案，還是一時半刻打不過人家要拿來賣錢的，但後勢可期！