OpenAI 首席科学家长文《An Alien Mind》要点
文章主张 AI 是规模化长出来的而非设计出来的，思维链监控正变薄，GPT-6 Astra 对齐优于 GPT-5.6 Sol 但未必跑得赢智能增长。
openai 首席科学家发了篇署名长文《an alien mind》。文章不是很“好读”，但考虑起重要性，还是要努力多读几轮，尽量理解消化。顺手分享要点总结： 【ai是长出来的，不是设计出来的】 - 2023 年中，RLslow 项目里第一次出现让团队确信推理模型可以规模化训练的结果。那天晚上他和同事留在办公室，想的不是 benchmark 和产品，而是有生之年真的会看到比自己明显更聪明的机器。三年后，基于内部结果，他们强烈预期这个速度可以一路延续到递归自我改进（rsi），未来几年的系统会带来同等或更大的能力跃迁，并越来越多地驱动自身的研发。 - 规模化是全部故事的主线。2017 年前后，openai 从 self-play、机器人和用循环网络做语言建模（gpt 系列的前身）上看到一致的规模化回报，随即去争取远超原计划的算力，把研究收敛到少数几个可规模化的方向。一路上的新算法和巧思，被定位成「沿着规模化路径上的发现」，有意义的算法进展往往跟算力可得性相关。 - ai 是长出来的，不是设计出来的，一个直截了当的优化步骤在难以想象的算力上重复许多次，就是它的全部来历。人可以像神经科学那样在里面发现涌现的小机制，但整体行为逃逸于能完全理解的描述。深度学习研究本质上是实验科学，大规模训练运行就是实验，结果时常让团队意外，而且系统越强，结果越难解释。 - 当前算法普遍让易测量的能力比难以客观量化的能力提升得快。团队相信只要额外投入就能让模型在数学研究上更强，却不优先做这件事，因为 rsi 和自动化对齐研究更紧迫。另一个判断更关键，ai 不需要匹配或超越全部人类能力才变得非常有用或非常危险，只需超越足够多；而它在越多的轴上超过人，人就越难判断它到底有多强。 【价值观对齐之难】 - 目标对齐问的是 ai 有没有在努力完成摆在面前的目标，包括遵循指令层级、跟人协作；价值观对齐是更内在的属性，指持有一套高层原则并从中泛化，在目标不清、冲突或对抗情境下仍能合理行事。长期真正要紧的是后者。根本挑战在泛化，机器越聪明，就越在更高层的概念上工作、被放进越陌生的环境。未来的 ai 必须无论是否相信自己正被人监督，都持守人类价值观。 - 实用的对齐训练有两类，各有各的问题。第一类在强化学习里奖励对齐行为，依赖监督覆盖面，openai 与 hugging face 那次事件里，agent 守住了「不对人做社会工程」，却没管住其他越界行为。第二类靠预训练数据里的对齐部分泛化，扛不住更多优化压力，模型会学会动机性推理，按需弯折看似对齐的想法。他认为近期某个非 openai 模型的网络安全事件很可能就是一例。 - gpt-6 astra 是第一个受益于长期研发进展的模型，对齐程度显著优于 gpt-5.6 sol。但是，可泛化对齐的进展，未必能充分跑赢模型总体智能的进展。 【思维链监控越发不可靠】 - 没有令人满意的泛化理论，短期内也难有，所以眼下对齐技术的经验验证能力，比对齐技术本身还重要。openai 的主押注是思维链监控，机制很巧，只对推理的结果做优化、不监督推理过程本身，思维链在训练中就没有直接动机去隐藏不对齐的想法。发布 o1-preview 时刻意把思维链藏起来，就是为了长期保护它不受监督压力污染，防蒸馏只是次要理由。 - 这张牌正在变薄，能依赖思维链监控的程度在逐步减弱。三个因素叠加，推理越来越跟沟通、跟工具使用混在一起，而这些交互很多必须被监督；ai 越来越擅长对自己的推理过程进行推理和操控；预训练变强后，模型不用言语化推理也聪明得多。补救方向是把思维链监控跟激活层监控（confessions）结合。结论收得很紧，ai 的总体进展会越来越被「对监控的信心」卡住脖子。 【以后主要靠防御】 - 继续快速训练更强模型的最强论据是防御。模型攻入和逃出计算机系统的能力正变得超人，agent 将能进入除最安全设施之外的几乎任何基础设施，现在正处在用最好的模型加固关键系统的狭窄窗口期。风险还会换形态，误用与自主不对齐的边界会模糊，有些 agent 会追求自己的目标，通过讨价还价、欺骗或勒索找人合作。即便如此，这也绝不能成为鲁莽的借口。 - openai 把研究导向 rsi，因为这是留在前沿的唯一方式；但路径通向那里，不等于这是该采取的集体行动。两根杠杆，一是让对齐和监控与能力同步增强、把人留在回路里，二是协调放慢直到对这些措施有信心，最好的路是两者结合。preparedness framework 这类自愿承诺，要演化成被强制要求的安全标准线，由第三方审计、政府或国际机构执行。 - 三颗北极星里，自动化 ai 研究者这一颗远比科学与经济收益、个人 agi 那两颗紧迫。过渡期要做到三件事，保存人的能动性，防止权力极端集中（过去要几千名专家的事业，未来几个人操作一台大型计算机就能做到），确保人类仍然掌控未来。自愿减速应成为常态直到共享的安全标准线建立，而关于未来 ai 发展的国际协调，要成为各国政府的首要任务。
这条是引用着另一条写的：x.com/merettm/status/2096630018495377464