TypeSafe founder on Jev: a decision engine built for software
Diogo Almeida discusses LLM overpromising, RLHF mode collapse, and why Jev outputs choices and scores with confidence instead of text, plus the author's view on Jev's limits.
TypeSafe AI 创始人 Diogo Almeida在发布Jev之前的一次演讲，他应该在openai就意识到模型对齐人类偏好，在自动化任务上是不合理的优化方向。所以这次访谈把他的自动化理念做了很好的阐述。而Jev的对齐方向是RLCD。感兴趣的可以再深入我文章末尾的一篇解读（什么是 RLCD？Jev 背后的秘密）链接。 视频里主要分享了： 1. 他认为当前AI模型是“AI: Overpromise, Underdeliver”（过度承诺、交付不足）来概括这个现象。 2. 存在两类任务的巨大鸿沟 一边是“对人类来说太好了”的能力（聊天、写代码助手、客服话术）； 另一边是“对真正自动化来说还不够用”的场景（需要高可靠性、不能幻觉、能直接被代码调用的决策）。 3. 最苦的教训（The Bitterest Lesson） 他借用并延伸 Sutton 的观点：算法、算力、数据都重要，但最关键的是有没有在做正确的任务。当前模型主要在优化“让人类满意”，而不是“让软件能直接用”。 4. RLHF 的副作用 提到 Mode Collapse（模式坍塌）：模型为了讨好人类，会丢掉多样性，变得过于“安全”、过于迎合，这在需要精确决策时是致命的。 5. 举例说明问题 比如 Taco Bell 用 AI 做得来速点餐翻车的新闻，用来说明：把 LLM 直接丢进高风险、真实世界流程里，现在还不行。 6. 他们的方向 不要再把 AI 做成“和人聊天的助手”，而是做成给软件用的决策引擎（后来发布的就是 Jev / System One Model）： 输入状态 + 结构化问题，直接输出带概率和置信度的选择/分数，而不是生成一段文字。 目标是让 AI 像水电一样，成为代码可以放心调用的基础设施，从而真正推动自动化和经济变革。 我对jev的看法： 为什么现在的聊天模型没法带来真正的自动化革命，以及下一代模型应该优化给计算机用，而不是优化给人类聊天用。如果你只是理解jev是另一个bert，做做分类，标注，或是另一个排序模型，往往会低估他的潜力。他有更好的泛化性和通用性，现在在x上已经能看到很多用法，这不是bert可以代替的。另外他也不是解决所有问题的模型，一些场景搭配LLM也会更好，更节省成本。但是毕竟jev也只是输出的是概率，一些重要不可逆的场景，代码还是要有更多检查和验证，不然只是相信他输出的概率，也容易出巨大风险。而一些LLM应用，我隐约看到可以提高盈利的可能性了，jev会促进应用生态的发展，但他不是万能的，虽然他不生成幻觉，但是他生成的也是概率。 备注： TypeSafe AI 创始人 Diogo Almeida（前 OpenAI 研究员，参与过 RLHF、InstructGPT、ChatGPT 相关工作）的一场发布Jev之前的演讲。 什么是 RLCD？Jev 背后的秘密： https://di-zhang-llm.github.io/blog/what-is-rlcd-the-secret-behind-jev/