Genie 4 breakdown: how Gemini 4 Argon and 3.8 Flash sit in the loop
A long breakdown of Genie 4: live editable worlds, native audio, more realistic humans, with Gemini 4 Argon decomposing tasks and 3.8 Flash directing, still research preview at ~2 minutes of consistency.
谷歌 Genie 4:世界不是放给你看的,是进去改的@GoogleDeepMind 雪地里,一只戴着王冠的丹顶鹤走向一架白色钢琴。打字加一句流星,流星就划过去了。这不是剪好的片子,是官方演示里实时跑出来的世界。 Genie 4 是谷歌 DeepMind 2026 年 10 月 27 日发布的新世界模型。世界模型和视频生成的区别就一句话:视频是放给你看的,世界是让你进去走的。你用键盘走路、转镜头,打字改天气、加人、加东西,模型一边生成下一帧,一边生成对应的声音。 这次真正的变化有四处。 第一,边跑边改。以前是生成一段再看,现在是世界跑着,你随时打字插一手。Gemini 会把你的话改写成贴合当前场景的版本,中间没人说话的时候,它也在推着世界往前走,不让场面停住。 第二,人变真了。官方说最大的进步在人:走路自然,能对环境做出反应,还能在跑动中被你指挥。物理上也更进一步,提到了空气动力学和碰撞。注意,这里的真是指看起来真,不是物理全对。 第三,声音是原生生成的。这是 DeepMind 第一个实时生成声音的世界模型。风声、海浪声、音乐和人物对话,都是和画面一起生成的,不是后期配上去的。人物能跟你说话,也能彼此说话,还能对世界里的事做出反应。 第四,Gemini 进了循环。这是我觉得最值得拆的一点。Gemini Omni 负责把世界锚定在真实的外观和行为上,其他 Gemini 模型负责推理和保持连贯。Gemini 3.8 Flash 在循环里当导演:看新生成的帧,把目标拆成步骤,检查每一步有没有成,世界一变或者你一插手,它就改计划。 官方还放了一个机器人例子:Gemini 4 Argon 把任务拆成步骤,Genie 4 实时渲染 Apptronik 的 Apollo 人形机器人下跳棋。这个例子要这样读:它证明的是任务拆解加实时渲染这条工作流能跑通,不是证明机器人已经在虚拟世界里学会了下跳棋,更不是证明学到的东西能直接搬到真机上。 再看这条线是怎么走过来的。Genie 1 是 2024 年的论文,arXiv:2402.15391,核心想法很干净:只看公开视频,不用人工标注动作,模型自己从连续帧里反推出一个离散的潜在动作,靠这个动作空间就能逐帧控制生成的世界。Genie 2 在 2024 年底走到 3D,但只能撑十几秒。Genie 3 在 2025 年 8 月做到 720p、24 帧实时探索,公开原型一次会话 60 秒。Genie 4 的一致性窗口,据 TechCrunch 等发布会报道约 2 分钟,是 Genie 3 的约两倍(是发布会转述)。 它现在还做不到什么,官方自己也写了:跑久了细节和物体一致性会漂移,多次复杂改动或者满场景走动后更明显;复杂物理交互、实时音频准确度、画面里可读的文字、空间精度和长期一致性,都还在研究中。演示不能当证据,演示里没漂移,不等于你的第 90 秒不漂移。 谁现在能用?目前只是受信任测试者的研究预览,之后先给 Project Genie 里的 Google AI Ultra 订阅者,以及 Gemini API 和 Google AI Studio 的早期合作伙伴,候补名单已开。没有公开的基准分数、延迟和价格,这篇拆解里凡是没标来源的数字,都别当实测。 落到我们这条线,判断是这样的。Genie 4 值钱的地方不是画得更真,而是把世界模型从一段视频,变成一个可以改、可以测、可以排练的沙盘:电影人拿它做预演草稿,游戏人拿它在写引擎代码之前先验证一个玩法,机器人团队拿它批量造长尾场景。但它和真实时空数据是两回事:它模拟的是看起来合理世界的像素,不是真实地理、真实气象、真实物理的复现。拿它做创意和预演可以,拿它当地理事实不行。等论文发布再做一期模型结构拆解
This post quotes another post: x.com/googledeepmind/status/2115114028338962672