jevPOST
kev-onnx：本地 CPU 跑 Jev 兼容分类的 Docker 镜像
基于 qwen3-4b 的 kev-4b 模型做分类，作者封装成 ONNX Docker 镜像并暴露 typesafe-jev 兼容 API，短问题在 4 核 CPU 上约 1 秒返回。
aleskxyz
@aleskxyz2026.09.28收录原推发布于 2026.09.28
aleskxyz @aleskxyz原推发布于 2026.09.28
یه مدل هست به اسم kev-4b که از روی qwen3-4b درست کردن که مثل jev کار classification رو انجام میده. من واسه فرمت onnx یه docker image درست کردم که علاوه بر اجرای runtime، یه لایه api سازگار با typesafe-jev میده که میتونید به صورت local روی cpu اجرا کنید. سوالات کوتاه (کمتر از ۱۰۰ توکن) رو با ۴ هسته cpu، توی حدود یک ثانیه جواب میده. https://github.com/aleskxyz/kev-onnx
x.com/aleskxyz/status/2104306705043472884采集于 2026.09.28 10:00