Replacing Claude's judgments in an agent with coin flips went unnoticed for a day
A Hangzhou developer swapped many of his agent's yes/no decisions for random outcomes and the product kept running normally; he then moved simple judgments to a decision layer like Jev and left only tasks that truly need intelligence to Claude.
一名 21 岁的杭州开发者把 Claude 换成了一枚硬币整整一天。团队居然没人发现有什么不对。 他正在开发一个内部 AI Agent，每天都要做成千上万个很小的判断。要不要打开这个文件，要不要继续搜索，要不要停下来，要不要把任务交给下一步。几乎每一个动作都会调用 Claude，因为这样最省事。后来他突然想知道，这些所谓的“智能”到底有多少是真的必要，于是他干了一件近乎荒唐的事：把其中一部分内部判断直接替换成随机的 yes/no。第二天早上，最尴尬的事情发生了。产品没有崩，用户照常使用，任务照常完成，团队甚至没有发现昨天有几千次“智能决策”其实是靠抛硬币完成的。 从这里开始，这个实验就没那么好笑了。他重新换回正常逻辑，但 Claude 只被允许处理那些真的需要它的任务，其余判断全部交给更便宜的 decision layer。成本很快降了下来，而真正难堪的发现和钱其实没什么关系：团队之前以为自己买的是“AI intelligence”，但其中相当一部分，只不过是在用最昂贵的方式得到一个 bit 的答案。 我越来越怀疑，现在一大批所谓的 AI Agent 就是这么工作的。大家天天争论哪一个 frontier model 更聪明，追着新的 benchmark 跑，为更多 reasoning 付更多钱，却很少有人愿意问一个有点侮辱人的问题：如果我现在把 Claude 换成一枚硬币，我的 Agent 里到底有多少部分真的能发现区别？ 这也是我新文章真正想讨论的问题： JEV 并不是想取代 Claude。它真正想做的，是让你别再毫无必要地调用 Claude。 读完之后，去翻一下你自己的 Agent 日志。如果你发现一半的 Claude 调用最后只是为了做一个“是/否”判断，那你完全可以继续讨厌这个帖子 - 你的 API 账单不会因此少一分钱。 如果“硬币替代 Claude”这个想法让你不爽，点个赞。把它转发给那个还在把 Opus 设成所有任务默认模型的人。然后收藏一下，等下一张 API 账单来的时候再回来看看。
This post quotes another post: x.com/make_claude/status/2105380835675312294