gpt-6POST
Sebastian Raschka 分析 GPT-6 Astra 或采用循环 Transformer
介绍文章推测 Astra 用了 Looped Transformer（同一批层跑多遍），22 层权重跑两圈即得 44 层等效计算，并讨论隐藏推理。
Shinichi Takaŷanagi
@_stakaya2026.09.28收录原推发布于 2026.09.27
Shinichi Takaŷanagi @_stakaya原推发布于 2026.09.27
GPT-6 Astraでは、Looped Transformer（Recurrent Depth）と呼ばれる「同じTransformer層を複数回使う」構造が採用されている可能性の紹介記事（例22層を2周させれば、重みは22層分のまま44層相当の計算） GPT-6 Astra, Looped Transformers, and Hidden Reasoning https://magazine.sebastianraschka.com/p/gpt-6-astra-looped-transformers-and
x.com/_stakaya/status/2104113672817881350采集于 2026.09.28 10:04