小米开源 MiMo V2.6 Pro/Flash 权重与 Agentic RL 计划

Wei @wei_wang原推发布于 2026.09.22

在 X 上打开原推

MiMo V2.6 这次最值得看的，远不止 Artificial Analysis 排进前六。 小米同时放出了 Pro-RL 和 Flash-RL 权重、技术报告，以及一整套 Agentic RL 开放计划。模型上线距离最终 RL Run 启动还不到一周。更激进的部分，是他们接下来会开放约 7000 个训练任务、环境、验证器、RL 框架和一个 9B 蒸馏模型。 这次发布想验证一件事。 大模型能力能不能继续靠 Agent 在真实环境里探索，再利用可验证结果和模型评审，把经验送回训练系统。 先看模型本身。 MiMo-V2.6 Pro 是 1.02T 总参数、42B 激活参数的 MoE。Flash 是 310B 总参数、15B 激活参数。Pro 每层有 384 个路由专家，每个 token 激活 8 个；Flash 有 256 个专家，同样激活 8 个。 两者都支持 1M tokens 上下文，并原生接收文本、图片、视频和音频。 Flash 的语言主干有 48 层，其中 39 层使用 Sliding Window Attention，9 层使用 Global Attention。Pro 是 70 层，60 层 SWA，10 层 GA。局部窗口只有 128 tokens，全局层周期性补回长距离信息。 这个设计很现实。1M 上下文如果每层都做全局 Attention，Prefill 和 KV 成本会迅速膨胀。多数层只看附近 128 tokens，少数层负责整合全局信息，可以把长上下文的计算压下来。 第一层单独使用全局 Attention 和 Dense FFN，后续 MoE 层没有 Shared Expert。 多模态也没有简单地外挂几个旧 Encoder。 视觉部分是一个 681M 参数的 MiMo ViT，共 28 层，使用 24 层局部 Attention 和 4 层全局 Attention，训练量超过 4T image tokens。 局部层交替使用横向和纵向 token 排列，让信息跨窗口传播，处理高分辨率图像和视频时少做大量全局计算。 音频先经过 308M 参数的 Audio Tokenizer。它在两千万小时音频上训练，把声音压到每秒 25 帧，每帧由 20 个 RVQ codebook 表示。 随后一个 127M 参数的 Patch Encoder 把每四帧合成一个 Patch，最终把进入语言主干的音频速率降到每秒 6.25 个表示。 预训练规模也很大。 Flash 一共训练了 48T tokens，前 26T 是纯文本阶段，后 22T 是全模态阶段。Pro 共 30T tokens，其中 27T 文本、3T 全模态。 上下文从 32K 起步，中途扩到 256K，1M 长度主要在后续 Agentic 训练和推理系统里使用。 推理侧自带一个五层 MTP 草稿模型。 它采用 DFlash 风格的 Block Diffusion，一次前向预测后续 7 个 token，再由主模型并行验证。五层全部使用 1024 窗口的 SWA，避免草稿模型自己又背上一份昂贵的长上下文 Attention。 RL 部分带来了这次最有意思的变化。 小米把这套方法称为 You Only RL Once。 代码、通用 Agent、视觉任务和网络安全没有各训一套独立模型，而是放进同一次 Mixed RL Run。不同任务还会随机配给不同 Agent Harness，让模型学到的策略不至于绑死在某一种工具协议和提示模板上。 每个训练 Step 会抽取 1568 个 Prompt，每个 Prompt 生成 16 条 Rollout，一步大约产生 2.5 万条轨迹。 总训练量达到 27 亿到 37 亿 tokens，平均每条序列约 11 万到 15 万 tokens。 这已经不是常见的短数学题 RL。一个 Step 里塞进的是长时间运行的代码 Agent、浏览器任务、视觉环境和安全实验。 整套训练使用完全异步的 GRPO 和 Partial Rollout。某些 Agent 没在当前周期内完成，可以暂停后进入下一轮，不必让所有 GPU 等最慢的一批任务。 代价是训练数据来自稍早版本的策略，报告里的 staleness 设置为 4。 这轮 RL 的公开成本也很少见。 Pro 后训练花费约 260 万美元，Flash 约 90 万美元。Pro 的成本里，Rollout 占 43.8%，Grader 占 24.3%，训练本身占 31.9%。 模型写答案只是第一笔成本，判断这些答案到底好不好已经接近四分之一。 为什么 Grader 会这么贵。 普通 Agent RL 通常只看最终测试是否通过。同一组 16 条轨迹里，只要都通过测试，它们可能得到相同奖励。 可其中一条也许改动准确、步骤很短，另一条绕了很久，还留下脆弱实现。二元 Pass 或 Fail 看不见这个差别。 MiMo V2.6 增加了两层组内评审。 GRS 会在离线阶段比较同一任务的多条 Rollout，自动生成针对这个任务的评分 Rubric，再把 Rubric 评分和测试结果合起来。 GAR 则在在线训练时比较已经通过验证的轨迹，重新分配组内 Advantage。 质量更高、路径更短、token 消耗更少的解法获得更多正向信号。模型会同时学习完成任务和减少不必要的步骤。 这里所谓的 Self-Improvement，需要放在准确边界里理解。 模型还没有自行修改训练代码，也没有脱离人类控制递归升级。它做的是在大量可交互环境中生成自己的候选轨迹，再由测试、规则和 Agentic Grader 比较这些轨迹，把差异变成下一轮训练信号。 这是一条受控的自我改进回路。 他们还专门处理了 Reward Hacking。训练环境先经过攻击 Agent 检查，验证器之间互相交叉核对，发现利用评测漏洞的轨迹会被剔除。 模型生成错误工具名、畸形参数或异常格式时，惩罚也会落到具体 token，而不是整条长轨迹一起背锅。 MoE 在 RL 中还有一个很实际的问题。 Router 会随着策略更新逐渐漂移，少数专家越来越忙，大量专家变冷，最后造成负载崩塌。 小米的实验显示，重置 Router 后负载会恢复，专家权重本身没有坏。最终训练因此直接冻结 Router，只更新其他参数。 Mixed RL 结束后，他们又加了一轮 MOPD2。 传统蒸馏会让 Student 从头生成完整轨迹，长 Agent 任务非常浪费。MOPD2 把 Teacher 轨迹或 SFT 演示切成多个历史 Prefix。 Student 从每个决策点继续生成一轮，Teacher 只监督这个新回合，不需要反复生成前面的几十轮历史。 这让科学研究、游戏开发和具身智能这类难以编写可靠 Reward 的任务，也能吸收不同 Teacher 的能力。 最终成绩能看出这轮 RL 的幅度。 Pro 在 DeepSWE v1.1 得到 71.9，接近 Claude Opus 5 的 74.0 和 GPT-5.6 Sol 的 73.0。AutomationBench 达到 53.1，高于报告中的三款闭源模型。Terminal Bench 2.1 为 89.9，OSWorld Verified 为 82.0。 Flash 在 DeepSWE 得到 67.9，AutomationBench 52.3，Toolathlon Verified 73.6，OSWorld Verified 80.8。CyberGym 甚至达到 95.1，高于 Pro 的 94.0。 短板同样明显。 Pro 在 Terminal Bench 4.0、ExploitGym、ExploitBench 和 SEC Bench Pro 上仍落后于最强闭源模型。Flash 在高难安全任务上的差距更大。 官方表格说明 MiMo V2.6 已经进入前沿 Agent 模型区间，还不能证明它全面超过了 Opus 或 GPT。 这次最有长期价值的，可能是开放部分。 小米会发布 MiMo-V2.6-Distill-Qwen-9B。它以 Qwen3.5-9B 为底座，使用 MiMo 生成的 774 亿 tokens 做 SFT，其中 272 亿 tokens 参与 Loss。 数据覆盖代码、通用知识工作、视觉开发和网络安全。 配套环境约有 7000 个任务，包括 3000 个软件工程任务、1000 个漏洞复现任务、1000 个通用知识工作任务和 2000 个视觉开发任务，另外还有约 1000 个音乐生成任务。 每类任务都带对应验证方式，从可执行测试、规则检查到 Rubric 和视觉评分。 9B 模型经过 SFT 后，SWE-bench Pro 从原始 Qwen3.5-9B 的 32.0 提升到 44.6，AutomationBench 从 5.0 提升到 30.3。 继续使用开放环境做 GRPO 后，SWE-bench Verified 达到 66.2，Terminal Bench 2.1 从 37.1 升到 52.8，视觉编码评分从 64.0 升到 72.4。 更关键的是 Harness 泛化。 训练时使用四种 Mini Harness，再到 Codex、Claude Code 和另一种未参与训练的 Harness 上评测，21 个数据集与 Harness 组合全部优于原始 Qwen3.5-9B。Multi-Harness RL 又让所有组合继续提高。 这比只发一份模型权重更接近完整的开放研究。 别人可以看到任务、环境、验证器和训练框架怎样配合，也可以从同一个 9B 起点复现实验，检查提升到底来自数据、Reward、Harness 还是算力。 本地部署方面，Flash 才是大多数人的现实目标。 Hugging Face 上的 Flash-RL 约 165.5GB，Pro-RL 约 534GB。 Flash 原生 FP8 权重已经进入双 DGX Spark、大内存 Mac Studio 或多卡工作站可以研究的范围。Pro 即使有 512GB 统一内存也会非常紧张，还要为运行时、KV Cache、视觉和音频 Encoder 留空间，实际更适合多卡服务器。 官方 SGLang 配方使用 TP8、DP2 和 Multi-Layer EAGLE，说明追求完整吞吐时仍然是数据中心级部署。vLLM 目前也可能落后于新架构，需要指定预构建镜像。 1M 上下文是模型上限，不代表任何硬件都能同时给它分配完整 KV Cache。 所以 MiMo V2.6 最强的信号可以分成两部分。 模型能力已经逼近第一梯队，Flash 还把全模态、1M 上下文和 Agent 能力放进了相对可部署的体积。 更重要的是，小米公开了大规模 Agentic RL 的方法、成本、失败模式和即将释放的实验材料。社区第一次有机会从任务环境一路追到训练结果，而不只是在模型发布后猜它用了什么数据和 Reward。 如果约 7000 个环境、验证器和 RL 框架能够按报告完整落地，这次发布的价值会超过 MiMo V2.6 本身。 权重让大家使用一个模型。 环境和训练系统，才可能让大家继续造出下一批模型。