KaLM-Jev: an open-source local Jev for structured judgments
An open-source local Jev built on KaLM-Reranker that offers Choice, Score and Noul judgments in Nano, Small and Large sizes, callable via HTTP or Python and suited to support triage and agent routing.
💥什么鬼！本地开源 Jev 居然杀到了 0 输出 Token，自带三档模型直接落地结构化判断！ 想用 Jev 那种只给结论、不废话的判断能力，又不想把数据送上云？KaLM-Jev 开源了。基于 KaLM-Reranker-V1-R2，把模型做成完全本地的 Choice / Score / Noul 服务 核心亮点 🔹三种判断：Choice 从候选里选一项；Score 按自定义等级打分；Noul 判断条件成立的可能性 🔹三档规格：Nano 更省资源，Small 平衡速度与效果，Large 追求更高判断质量 🔹本地部署：HTTP / Python 直接调用，支持文档缓存、GPU 测试、中英文用例 🔹场景对口：智能客服分流、Agent 路由、内容审核、工单分类、风险判断、自动化工作流 快速上手 1️⃣建虚拟环境并安装：python -m venv .venv && source .venv/bin/activate && pip install -e '.[test]' 2️⃣起服务（按显存选档）：kalm-jev serve --model kalm-jev-nano --device cuda --dtype bfloat16 3️⃣调接口：POST /v1/systemone，传入 state + questions，拿回结构化 JSON 4️⃣或直接 Python：Engine(...).evaluate(request)，二次请求可走缓存 GitHub：https://github.com/KaLM-Embedding/KaLM-Jev #KaLM #Jev #LLM #Agent #开源 #AI工具 #本地AI #本地Jev https://x.com/nft_chen/status/2101898318465187900?s=46
This post quotes another post: x.com/nft_chen/status/2101898318465187900