用 Jev 守门 + GPT-6 兜底做自动化流水线
作者用实测数据验证 TypeSafe 的自动化主张：Jev 置信度分 42 档可做门控，低置信度才升级到前沿模型，成本每千张 $0.184 对 $8.27。
TypeSafe 这场演讲的核心论点 LLM 被优化成"辅助"（assistance），所以不能做有后果的决策；他们押的是 type-safe language models → 真正的自动化 1️⃣ 今天的 LLM 是为"辅助"优化的。 RLHF 的目标函数是"人类评分员喜欢哪个回答"，产出的是聊天和文书 2️⃣ 它做不了有后果的决策。 官方博客那句话最到位："如果一个模型 95% 的情况能做对，却不告诉你什么时候落在那 5% 里，它就没法自动化这件事。" 问题不在准确率，在于不知道自己什么时候不知道——即使你要求它给置信度，它也普遍过度自信且前后不一致。 3️⃣ 所以现在只能人盯着。 那张 "Too good to be true / Too bad to be useful" 的表，右边全是"没有人在环里就不能用"的场景：客服、保险、报税、数据录入 4️⃣ 他们的解法：换目标函数。 不再优化字符串，而是优化"带类型的决策 + 诚实的概率"，这就是 RLCD （Reinforcement Learning for Calibrated Decisions）。 automation is coming soon，这个才是他们想要的终局 关于 automation 最核心的那个主张，我们有别人还没公开的独立证据 1. "置信度能当门控"——成立，而且是同场最好的 Jev 第一，而且档位细（42 档，阈值能切得动）。反过来看，本地小模型六个里四个出现倒挂——错的时候更自信。拿那种置信度做门控，等于把最该弹确认卡的那批直接静默执行了。TypeSafe 论证链里"RLHF 模型过度自信"这一环，我们的数据支持它 2. 但"高置信度 = 高准确"是分任务的，automation 不能按模型切，要按问题切 最后的架构不是"用 Jev 替代 LLM"，而是一条流水线：Jev 守门（这是什么、几件事、多确定）→ 代码算日期 → 置信度低的交给 GPT-6 兜底。大部分请求在第一层就走完，整体成本贴着 Jev 的价位（每千张 $0.184 vs GPT-6 的 $8.27）。这就是 automation 真正落地的形状 3. 能不能自动化，还取决于你的流程速度，不只取决于模型 4. 还有一条边界他们没强调：信号必须在语义里 automation 的瓶颈从来不是"模型会不会说话"，而是三件事： 1️⃣ 置信度可不可信 2️⃣ 错了代价多大 3️⃣ 你的流程比信号快还是慢 TypeSafe 解决的是第一件的一部分，这一部分我们的数据证实了，它确实是同场最好的 第二件要你自己按动作分层设阈值 第三件跟模型无关 https://t.co/ea6U8oQ3AH