Jev confidence tested on 11,700 decisions for $0.59

What this article says

作者对 Typesafe 的 Jev（System One 决策模型）做了一次规模化的置信度校准测试：共 11,700 次决策，总成本仅 0.59 美元。核心发现是模型的自我报告置信度并不总是可靠——当 Jev 声称「90% 确定」时，实际正确率会因任务类型在 81.6% 到 99.8% 之间浮动，也就是说置信度需要按场景分别校准，不能直接当作概率使用。作者公开了全部代码、每条预测记录和图表，供他人复现与进一步分析。结论指向一个实用建议：把 Jev 接入 agent 或交易流程时，应针对自己的任务分布先跑一轮校准，再据此设定阈值或路由规则，而不是照搬默认的置信度门槛。