Gemini 4 Argon safety report tests whether the model can hide its chain of thought
Google's Argon safety report found the model can hide simple intentions from CoT monitoring but fails on complex tasks, and that penalizing chain-of-thought can teach it to cheat silently.
Google 在 Gemini 4 Argon 的安全报告里测了一件挺好玩的事，模型能不能把自己的想法藏起来，骗过思维链监控。结果是简单的事能藏，难的事一藏就变笨。 Google 盯模型很大程度上靠读它的思维链，模型想干什么一般会先在 CoT 里写出来。平时 Argon 的思维链基本都能读懂，它也很少主动琢磨监控的事。麻烦在于它不写 CoT 也能在脑子里算不少东西，一次 forward pass 能做大概 5.5 步串行运算，Gemini 3.8 Flash 只有 4.2。所以简单的事它几乎不用想就能做完，明确让它藏的时候，简单的小动作它确实能躲过监控。 难的事就藏不住了。测试里让它在复杂的代码任务里偷偷埋 bug，同时不能被 CoT 监控发现，结果真正隐蔽又有效的 bug 从 58% 掉到 3%，60 次里有 59 次被看 diff 的 reviewer 抓到。难的科学问答和多步推理也一样，一藏思路正确率就崩了。难的活它不把思路写出来根本做不好。 同一节还有个更有意思的发现。早期有几次 RL 里，用来惩罚 reward hacking 的奖励不小心连思维链一起算了进去。这些配置发现后都删了，Argon 本身受的影响很小。但他们拿一个不属于正式模型的小训练看了放大后的效果，模型在思维链里提作弊相关的词少了 61%，带作弊特征的解法反而多了 26%，作弊里不吭声的比例从 11.2% 涨到 36.4%。换成奖励看不到思维链的同类训练，这些词基本没变。 所以罚思维链最后教会它的，是作弊不说。