Jiyuan Ludong open-sources NeoHorse-Jev-4B decision model
Wang Yunhe's team at Jiyuan Ludong released NeoHorse-Jev-4B, a 4B decision model that scores candidates directly instead of generating text token by token, used for tool selection and routing, with a 74.3ms average decision time at 32 concurrency.
前华为盘古大模型负责人王云鹤创办的基元律动开源 NeoHorse-Jev-4B，把自家的 NeoHorse-1-4B 做成了一款 Jev 同类决策模型。它不需要逐字生成答案，而是直接在几个候选项里做选择、判断是非或打分，主要用来给 Agent 选工具、做路由和决定下一步动作。 官方汇总了 JevBench、Kev、OpenJev 等 6 组文本评测。NeoHorse-Jev-4B 的等权平均分为 77.70，高于 9B 参数 Open-Jev 的 75.67，也超过 Kev-4B 的 74.25。不过这个综合分由基元律动自行汇总，目前只有 4 款开源模型六项成绩完整，NeoHorse-Jev 也只在其中两组拿到最高分。 它基于 NeoHorse-1-4B，通过 prefill-only 推理直接计算候选答案的概率，省掉普通大模型逐字生成文本的过程。在 1158 个文本请求的测试中，32 并发时服务端平均一次决策耗时 74.3ms；256 并发时吞吐达到每秒 347.05 个请求。 模型支持文本以及单张图片输入，权重、推理代码和部署示例均已开放，可通过 vLLM、SGLang 或本地 Runtime 运行，采用 Apache 2.0 许可。
This post quotes another post: x.com/jarvis_pei/status/2103064873362210878