jevPOST
kev-onnx: a Docker image for local CPU Jev-compatible classification
The kev-4b model, built on qwen3-4b, handles classification; the author packaged it as an ONNX Docker image exposing a typesafe-jev-compatible API that answers short prompts in about a second on a 4-core CPU.
aleskxyz
@aleskxyzArchived 2026.09.28Originally posted 2026.09.28
aleskxyz @aleskxyzOriginally posted 2026.09.28
یه مدل هست به اسم kev-4b که از روی qwen3-4b درست کردن که مثل jev کار classification رو انجام میده. من واسه فرمت onnx یه docker image درست کردم که علاوه بر اجرای runtime، یه لایه api سازگار با typesafe-jev میده که میتونید به صورت local روی cpu اجرا کنید. سوالات کوتاه (کمتر از ۱۰۰ توکن) رو با ۴ هسته cpu، توی حدود یک ثانیه جواب میده. https://github.com/aleskxyz/kev-onnx
x.com/aleskxyz/status/2104306705043472884Archived 2026.09.28 10:00