Why the default 0.5 threshold in agent evals matters

Xudong Han @Xudong07452910Originally posted 2026.10.21

Open original on X

很多人给 Agent 做 Eval，忙着换更强的 Judge，却忽略了一个很简单的问题：为什么默认用 0.5 作为判错阈值？ Hamel 今天这篇文章很值得看。 他们拿 98 条真实 Agent 运行记录，测试了 Jev、Perplexity、Liquid、Cloudflare 和 OpenAI 的决策模型，发现调整判断阈值，就可能明显改变误报和漏报情况。 还有个值得的例子，Clef Flash 对一组记录给出的平均失败概率只有 8%，实际上却有 60% 存在问题。 作者给出的建议很实用。先确定自己更怕漏报还是误报，用人工标注的数据调整阈值，再检查模型输出的概率到底靠不靠谱，最后才是比较成本和性能。 感觉做 Agent Eval 时，我们确实太容易关注哪个 Judge 更强，却很少认真研究怎么让它的判断真正可靠。 原文：https://hamel.dev/blog/posts/decision-model-evals/