jevARTICLE
Jev 当语音 agent 评测裁判:34 项指标 27 项达标
用 Codex 写 Jev 裁判,覆盖 34 个语音 agent 指标,27 个在未调过的验证集上超 96%,每指标推理成本约 0.07 美元。
Neethu Mariam Joy
@DrNeethuJoy2026.09.27收录原推发布于 2026.09.26
这篇在说什么
作者把 Jev 用作语音 agent 的自动评测裁判,流程是用 codex harness(GPT 5.6 Sol + Terra)为 34 个语音 agent 指标各写一个 Jev 裁判。结果是 27 个指标在从未参与调优的验证集上达到 96% 以上准确率,单个指标的推理成本约 0.07 美元;剩下 7 个指标没有收敛。文章的价值在于给出一个可复用的工作流:让代码模型生成裁判逻辑,再由 Jev 这类 System One 决策模型承担高频、廉价的判定,从而把语音 agent 的评测从人工听录音变成可批量跑的自动化环节。结论是 Jev 适合做这类结构化判定,但并非所有指标都能一次跑通,仍有约两成需要人工介入或换思路。
We used Jev as a judge on 34 voice agent metrics, with a codex harness(GPT 5.6 Sol+Terra) writing each judge. 27 hit 96%+ on a validation set it never tuned against, at about $0.07 of reasoning per metric. 7 didn't converge. Bookmark it for the weeked :) https://x.com/i/article/2103694312626356224
Neethu Mariam Joy @DrNeethuJoy原推发布于 2026.09.26
x.com/drneethujoy/status/2103697740655956386采集于 2026.09.27 10:11