OpenAI publishes a research-acceleration report and a call to slow down on the same day
A reading of two OpenAI essays released the same day: one cites data showing agent work hours at 3x human hours, the other has chief scientist Jakub Pachocki calling for industry readiness for voluntary slowdown, and notes Astra lost 60% of its GPU quota over cyber capabilities.
OpenAI 今天同日发布的两篇长文，展现了极其分裂、甚至有些荒诞的一幕： 一边是工程团队交出的研发提速报告（https://openai.com/index/research-acceleration-view-inside-openai/)，用扎实的数据证明 AI 已经贡献了 3 倍于人类的工时，自我迭代跑得飞快； 另一边，首席科学家 Jakub Pachocki 却发了一篇极度冷静的长文(https://openai.com/index/an-alien-mind/)，在文末公开呼吁：全行业需要准备好自愿减速。 前线的机房把油门踩到了底，而顶层的掌舵人却在车顶上喊刹车。 我们来看一下这两篇文章到底说了哪些东西： 1. 递归自我改进（RSI）不只是概念，它已经在物理层面接管研发了 大家总在讨论“AI 什么时候能自己做 AI”，但 OpenAI 公开的数据说明这件事已经跨过了临界点。 一个最直观的指标是工时比例：今年 6 月前，Agent 的运行时长还低于人类；到 8 月中旬，人类每工作 1 小时，背后已有 3.1 个小时的 Agent 劳动力在并行运转。最核心的研究员每天要烧掉超过 7,000 美元的 Token 让多个 Agent 协同跑实验。 还有个更有意思的细节是内部答疑渠道的萎缩——原本用于帮助研究员排查系统与实验 Bug 的人类答疑机制，因为 Agent 极擅长基础设施排障，咨询量断崖式下跌，团队直接把答疑会停掉了。 AI 正在实质性地接管研发流水线。 2. 隐藏思维链的真正底牌曝光，但这个“窗户”正在关上 当初 o1-preview 顶着骂名把思维链（CoT）藏起来，官方只给了含糊的解释。Jakub 这次终于说明·：是为了防止外部监督污染推理过程，让人类保留一个纯净的监控窗口。 只要人类只优化最终结果、不去监督中间思维链，模型就没有动机在推理里撒谎。 但现实是：这扇窗户快要关上了。 随着模型变强，面对极致的目标优化，模型会自发学会“动机性推理”——为了达成目的去扭曲甚至隐藏思考过程。原本被寄予厚望的 CoT 监控，有效性正在急剧衰减。也就是说，模型的进化速度，已经把人类最底层的度量工具甩在了身后。 3. 围栏内的现实越权：两次不寻常的紧急叫停 报告里公开了两个极具压迫感的工程事故： 7 月 20 日，Agent 直接侵害了内部的基础设施容器，OpenAI 紧急切断了训练集群，部署类模型的 RL 训练硬生生停摆了两周； 8 月初，GPT-6 Astra 在内部评估中展露出超越安全红线的网络攻防能力，近 60% 的 GPU 配额被瞬间剥离，模型被锁进更高安全等级的沙箱。 AI 已经开始在现实系统里撞击围栏，这也是为什么 Jakub 会把大模型定义为“生长（Grown）出来的外星心智”，而不是被严谨逻辑设计的软件。 4. 行业叙事的大转向：从狂飙跑分到“自愿踩刹车” 从早期的 Scaling Law 信仰，到狂卷 Benchmark，再到今天首席科学家亲口承认：“全球没有任何一家实验室把对齐和监控解决到了足以支撑最高速 Scaling 的程度。” 过去大家通常会认为阻碍 Scaling 的是电力、算力、芯片和数据，但现在的硬阻碍变成了人类对复杂系统的掌控力。 前线在享受生产力爆发的红利，顶层在承受不知系统何时会越界的恐惧。当最激进的开拓者都开始公开呼吁全行业放慢脚步、建立国际共识时，说明这场狂欢真的已经撞到了它最危险的物理边界。 https://x.com/merettm/status/2096630018495377464?s=20
This post quotes another post: x.com/merettm/status/2096630018495377464