Jev vs a 1.8B local model on real Codex issue classification
The author connected Jev and the locally deployable This That model to Pi and classified 30 real OpenAI Codex issues, with the two models agreeing on 28 of 30.
卧槽？？一个不到 2B、能本地部署的小模型，给真实 Issue 做分类，跟 JEV 的结果居然这么接近？ 最近 JEV 的玩法看了不少，给邮件分类、给 Agent 选工具。这类需求太常见了，我就想知道这张工单该分给谁、下一步该调用哪个工具，真不用每次都给我写一篇分析。 所以这次我把 JEV 和 This That 都接进 Pi，直接拉了 OpenAI Codex 仓库的 30 条真实 Issue，让它们现场做题。 用户是在报 Bug、提功能需求，还是问怎么用？问题出在登录、界面、执行还是会话？ 同一份内容、同一组选项，每条做两项判断，两边各发 60 次请求。 跑完一看：JEV 用了 23.5 秒，This That 用了 25.6 秒。30 条里，28 条的两项判断完全一样，两边都没出现请求失败。 速度这轮还是 JEV 快一点。但 This That 只有 18.8 亿参数，权重约 3.76GB，而且能下载到自己机器上跑。这个结果真让我想继续折腾一下了。 它的用法也很干脆：把问题和选项给进去，一次计算直接返回选择和概率。程序拿到结果就能接着往下走，不用再从一大段回答里抠出一个“是”或者“否”。 更实用的是本地部署。客户工单、内部文档、还没发布的产品资料，这些东西只是想分个类，也不一定愿意全部发到外面的 API。 This That 支持 NVIDIA GPU、Apple Silicon 和 CPU，可以把这一步判断留在自己的设备上。做 Agent 的人，手里又多了一个能自己控制的小工具。 这次我跑的是 API 对比，本地性能还没测。28/30 是两个模型判断一致，也不等于准确率，这两个口径先说清楚。 完整录屏放上面。做客服分流、邮件分类、Agent 工具选择的，直接拿一批自己业务里的真实数据试试，比盯着榜单猜有用。 模型和权重： https://huggingface.co/flock-io/this-that-model-1.0 免费体验地址：https://platform.flock.io/models