Interactive diagram explains Gemini 4 Argon's sparse MoE

泊舟 @bozhou_aiOriginally posted 2026.10.15

Open original on X

模型里养了一堆专家，每次只叫醒几个干活。 这是我听过最省事的 MoE 讲法。正好 Gemini 4 Argon 刚开放，Google 官方模型卡里写的就是稀疏 MoE（sparse mixture-of-experts）。 但这句话听完，很多人脑子里还是没画面。 我最近自己挖到一个 skill 叫 anatomy，专门把抽象的技术概念画成能点、会动的立体图解。我拿 MoE 试了一轮，让它画成一个抽屉柜加一根分拣臂。 每个抽屉是一个专家，分拣臂就是路由器。你点一个 token，臂会去拉开其中几个抽屉。换一个 token 再点，拉开的抽屉往往会换。角落的读数跟着变：本 token：2/8 专家激活。 这里的 2/8 用的是 Mixtral 的公开例子（8 个专家，每个 token 选 2 个）。Argon 官方没公布专家数，所以别把这个数字套到 Argon 身上。 先看上面这段，点两下你就懂路由器在干什么。 你如果要给团队或客户讲一个抽象概念，这种能上手点的图比一页 PPT 文字好懂太多。 在这： https://github.com/wheresryan22/anatomy