Listening to the Jev CEO: from RLHF to keeping humans out of the loop
While hospitalized, the author listened to a talk by Jev CEO Diogo Almeida on designing a model that doesn't flatter users and outputs calibrated confidence, and judges the company may be acquired or absorbed into larger models.
最近一直在医院，没法正经写代码、推进项目，只能用手机碎片时间听演讲。刚刚听了现在很火的 Jev CEO（Diogo Almeida）那场演讲，很有意思，我也建议大家去听一听。 这也是一种我推荐给大家面对纷繁信息的研究方法: 面对 hype,不刷时间线，直接找到这个项目的设计者，看他的演讲、他的论文，和直接体验这个产品，能够更加快速、准确地了解这个项目。 现在外面很多项目，其实是拿jev做 demo，做视觉冲击大、适合拿出来展示的东西。快，是大家对 Jev 最表面的印象。但这场演讲更有意思的是他的设计理念。 Diogo他是从 RLHF 里走出来的人。RLHF 把模型训成了会讨好人的助手，ChatGPT、Claude Code 玩的这套红利：虽然现在经过好多代的发展和harness这类设计，尽量让AI自主的，但因为训练的底层模型就是让人满意的，所以模型本身就天然默认人必须盯着，必须in the loop。 他演讲的时候讲了一个非常搞笑的例子，就是他把一段放屁的音频给 ChatGPT，让他说：“这是我刚刚写的歌，你觉得怎么样？”ChatGPT照样会夸写得好。 按照他的意思，ChatGPT Claude这类llm的训练目标一开始就把 human in the loop 写进去了——优化的人类偏好，最开始训练就不是可独立交付的结果。 而他想做的就是真正的自动化，强调完全 human不 in the loop。输出判断和校准过的置信度。 我想了一下，其实这个理念非常有意思，但是这家公司和这个产品并没有什么太大的核心竞争力。各个模型商完全可以加一个 router，自己也做一个，而且会更有成本优势。同时，数据也有优势，所以我个人判断，要么这个会被收购，要么这就是会火一阵，然后跟当年的 Openclaw一样合并到大常模型里面了。😭