Using Jev to judge reading state in a voice teleprompter
The author describes Jev as a model built for choosing, scoring, classifying and true/false judgments, and shares a teleprompter that uses it to tell whether he is reading normally, too fast or off-script and adjust the prompt position.
最近 TypeSafe 的 Jev 模型非常火热 Jev 是一个专门做判断的模型:从多个选项里快速选择、打分、分类,或者判断一条消息是真是假。 比如: 从多个网页元素里选出要点击的按钮; 判断客户是否已经产生不满; 判断一条消息是不是退款请求; 判断当前用户处于哪种状态。 这类任务不复杂,但数量很多。如果每次都调用一个大模型,速度和成本都不太划算。Jev 更适合放在 Agent 工作流里,帮主模型处理这些重复判断。 我自己基于 Jev 实现了一个提词器,语音模型负责把我的话转成文字,Jev 负责判断我是在正常跟读、说快了,还是已经偏离稿子,然后调整提词位置。类似的应用场景还有很多。 当然,Jev 不是万能的。它适合快速判断,不适合复杂推理。它更像是大模型工作流里的一个小工具。 未来的 Agent,可能不只是一个大模型包办所有事情,而是由不同模型分别负责理解、规划、选择和执行。 Jev 的价值,就是把“判断”这件事单独拆了出来,做到了超低延迟和超低成本。