Jev vs Gemini Flash Lite on classifying People's Daily articles
On 1,000 labeled articles, Jev took 0.35 seconds per item, about 10x faster than Gemini Flash Lite, and 5,000 items cost about $1.
这两天关于 Jev 这个模型的热度非常之高，甚至可以说是近半年我重点关注了英推以来，看到的原创内容密度最高的一次。 正好我过去一年一直在跑一个小项目，其中有一个环节就是要对每天出版的《人民日报》上的新闻做一个分类，判断每一篇文章中是否包含有湖北相关的元素。 一年跑下来，积累了接近 2 万 4 千条数据，其中判定包含的有 1800 条左右。在这些数据的基础上，我随机筛选了一个测试数据集，其中包含了 500 条判定包含的内容，以及 500 条判定不包含的内容。 之前我使用的模型一直是 Gemini 的 Flash Lite 系列，也算是经过测试后成本和速度双重考虑下的最佳选择。 今天 OpenRouter 上线了这个 Jev 之后，我用同样的提示词做了一个小 Demo 做了一下对比测试，下面这个视频就是同时并发 16 个进程的实录效果。 不得不说，测试出来的结果超出预期很让人惊喜啊。 首先，速度是真快！相对于 Gemini Flash Lite 单篇文章 3 秒的平均耗时，Jev 把单篇耗时缩减到了 0.35 秒。这个接近 10 倍的速度提升，真的是实现了质的飞跃，带了很多新场景的想象空间。 其次，质量也真不错！和 Gemini Flash Lite 的分类结果相比对，Jev 大概在 15% 左右的内容上出现了判断不一致的情况。 但经过我的手动审核，大部分都是因为人名而导致判断差异。例如某位此前在湖北省任职过的官员姓名出现在了新闻中时，Flash Lite 因为知识库比较大，会将其判断为包含，而 Jev 在这块上面会弱一点，因此判定为了不包含。在我的实际应用场景中，这种判断差异完全可以接受。 最后，价格也是真便宜啊！看了一下 OpenRouter 的账单，前前后后大概跑了 5 千条数据，30M Token，总共开销也就 1 美元！这个性价比，还要什么自行车！ 总之，我个人觉得 Jev 代表的分类器大模型的确是一个非常有前景的发展方向，甚至可以说是在分类场景下实现了速度/质量/价格的不可能三角，有类似需求的朋友真的可以好好考虑一下。 就分享到这了，我得连夜用它去优化生产项目了。