Breaking down GPT-6 Astra's architecture against OpenAI's docs
The author cross-checks the model page, System Card and GPT-Red paper to map Astra's training, reasoning effort levels and 1.05M context.
GPT-6 Astraについてめちゃくちゃ徹底的にしらべてみたッ！普通の人が読んでも分かる内容ではないので、ブクマして、Grokや他のAIに渡して解説してもらって！GPT-6 Astraを知るための手がかりにして！ OpenAIの公式モデルページだけでなく、モデルガイド、Reasoning APIガイド、正式発表、System Card、GPT-Red論文まで照合してみた。調べていくと、モデル本体の訓練技術と、Codexなどの実行基盤、外部の安全監視システムを分けて考える必要があることがわかった。 公式情報から確認できるモデル本体は、多様なデータによる事前学習、推論を獲得する強化学習、学習工程全体に及ぶアラインメント、GPT-Red方式の敵対的訓練、専門業務や安全判断の追加訓練という構成。 実行システム側には、105万トークンの長文脈、推論量の可変制御、画像理解、Webやコード、PC操作などのツール接続、推論状態の保持や圧縮、外部モニターと権限制御が組み合わされている。OpenAI自身も、事前学習、強化学習、アラインメントにまたがる研究を統合したモデルと説明している。 ⭐️まず公式ページだけでは内部構造まではわからない GPT-6 Astraの公式モデルページは、用途、入力形式、コンテキスト長、料金、対応ツールなどをまとめたAPI仕様ページ。ニューラルネット内部の構造を解説したTechnical Reportではないので、内部設計まで読み取れる資料ではない。 パラメータ数、層数、DenseかMoEか、Attention方式、位置符号化、視覚エンコーダー、正確な強化学習アルゴリズムなどは非公開。正式発表やSystem Cardを見ても、こうした低レベルのアーキテクチャまでは明かされていない。 確定している主な仕様は、105万トークンのコンテキスト、最大12万8000トークンの出力、2026年4月30日の知識カットオフ、画像入力、推論トークン、5段階のreasoning effortなど。 ⭐️モデル本体の土台には事前学習がある Astraは多様なデータセットによって事前学習され、個人情報を減らすためのデータ処理も行われている。事前学習とは、大量の文章やコード、画像に含まれる関係を学び、言語理解、知識、推論、画像理解の基礎を作る最初の大規模学習のこと。 ただし、学習トークン数、画像と文章の割合、合成データの割合、データ収集元、総計算量は公表されていない。「多様なデータを使って事前学習した」ところまでは確認できても、具体的なデータ構成はまだわからない。 モデルページにある「2026年4月30日 knowledge cutoff」は、モデルが持つ知識の基準日を示す仕様。訓練がその日に終わったとか、すべての学習データがその日まで含まれている、という意味ではないので注意が必要。 ⭐️Astraの中心は「推論を学ぶ強化学習」 System Cardでは、OpenAIのreasoning modelが強化学習によって回答前の推論を学ぶと説明されている。訓練を通じて、考えを修正する、別の方略を試す、自分の間違いに気づく、といった問題解決の進め方を獲得している。 強化学習は、正解へ到達した結果や望ましい行動に報酬を与え、成功につながりやすい推論や行動の確率を高める学習方法。プロンプトへ「順番に考えて」と書くだけのChain of Thought promptingとは違い、考え直しや方針変更そのものを能力として訓練している。 ただし、PPO、GRPO、REINFORCEなどのどの最適化手法を使ったか、結果だけを採点するOutcome Rewardなのか、途中の推論まで採点するProcess Rewardなのかは非公開。RLで推論を訓練したことは確認できても、報酬式や更新アルゴリズムまではわからない。 ⭐️reasoning effortで考える量を変えられる Astraは、low、medium、high、xhigh、maxの5段階でreasoning effortを指定できる。問題を解く前の推論へどれほど計算を配分するかをモデルへ指示するAPIパラメータで、Astraでは推論を完全に切るnoneは利用できない。 低いeffortでは速度とトークン消費を優先し、高いeffortでは問題をより詳しく検討する方向へ寄る。ただし「highなら必ず何回検索する」「maxなら必ず複数案を作る」といった固定手順ではなく、問題に応じて推論量を調節する。 高いeffortでブラウザ確認やコード実行が増えたという報告もあるけど、これは初期利用企業が観測した傾向。OpenAIがAPI仕様として検索回数やコード実行回数を保証しているわけではない。 ⭐️reasoning tokenは公開される思考文ではない Reasoning modelは、入力トークンと通常の出力トークンに加えて、問題を分解したり複数の解法を検討したりするreasoning tokenを使う。このreasoning tokenの原文はAPI利用者から読めず、利用量だけが記録される。 reasoning tokenはコンテキスト領域を使い、出力トークンとして課金される。APIから取得できるreasoning summaryも内部推論の原文ではなく、内部推論についてモデルが作った要約になっている。 なので「Reasoning token support」を「AIの生のChain of Thoughtが読める機能」と理解するのは間違い。安全監視で扱われる内部Chain of Thoughtと、利用者へ返されるreasoning summaryも別物になる。 ⭐️アラインメントは学習工程全体に入っている OpenAIはAstraのアラインメントについて、事前学習データの構成から強化学習中の採点まで広がっていると説明している。完成したモデルへ安全フィルターを後付けするだけではなく、何を学ばせ、どんな行動を評価するかという学習工程そのものへ行動原則を入れている。 さらにModel Specの原則を、現実の状況へどう適用するか大量で多様な具体例から学ばせている。エージェント環境での常識、精神的危機への応答、プロンプトインジェクションへの対処など、一問一答では処理しにくい判断も訓練対象になっている。 確認できるのは「Model Specを具体例へ適用する訓練を行った」というところまで。Deliberative AlignmentやRule Based Rewardsなど、過去の特定論文とまったく同じ手法を採用したとは明記されていない。 ⭐️専門業務向けの追加訓練も行われている 正式発表では、Astraがprofessional environments、つまり専門的な業務環境を対象とした訓練を受けたと説明されている。複数工程の仕事を進め、文書、スプレッドシート、プレゼンテーションなどを既存テンプレートへ合わせて作る能力も重視されている。 Astraは、出力に必要な文脈だけを選び、作業と関係の薄い情報を何度も繰り返さないようにも訓練されている。さらに仕事を分割し、並列に動くサブエージェントへ一部の仕事を委任する能力も訓練されている。 ただし、サブエージェントがAstraのニューラルネット内部に常駐しているわけではない。Astraには仕事を分割して委任する能力があり、実際に複数エージェントを並列実行するには外部のエージェント基盤が必要になる。 ⭐️GPT-RedはAstraへ直接つながる論文技術 公開資料の中で、Astraの訓練へ直接つながることが最も明確な論文技術が「GPT-Red: Automated Red Teaming via Self-Play at Scale」。攻撃モデルと複数の防御モデルを同時に訓練する、自己対戦型の強化学習になっている。 攻撃側はプロンプトインジェクションを成功させると報酬を受け、防御側は攻撃を拒みながら本来の仕事を完了すると報酬を受ける。防御側が上達すると、攻撃側もさらに新しい突破方法を探すという、攻撃と防御が一緒に進化する仕組み。 GPT-Red論文が直接説明している防御モデルはGPT-5.6だけど、AstraのSystem CardではGPT-Red方式をさらに拡大し、Astraの敵対的訓練へ使ったと明記されている。自動攻撃生成と敵対的訓練を継承、拡張したところまではかなりはっきり確認できる。 ⭐️直接・間接プロンプトインジェクションを防ぐ GPT-Red方式の対象には、ユーザーが上位命令を書き換えようとする直接攻撃と、Webページ、メール、ファイル、ツール結果などへ悪意ある命令を埋め込む間接攻撃の両方が含まれている。 プロンプトインジェクションとは、AIが読む文章の中へ偽の命令を忍ばせ、本来の依頼とは違う行動をさせようとする攻撃。外部情報を読んで行動するAIでは、Webページの文章をユーザーからの指示だと誤認する危険がある。 Astraでは、正規の作業を続けながら不正な命令だけを無視する能力を敵対的訓練で高めている。怪しい文章を見つけたら全部止まるのではなく、本来の仕事を維持しながら攻撃を防ぐところが重要。 ⭐️安全な回答だけでなく安全な行動も訓練している サイバー安全訓練では、実際の運用トレースを種にした半合成エージェント環境が追加されている。半合成とは、すべてを架空に作るのではなく、現実の利用軌跡を土台にして、安全に再現した訓練や評価環境を作る方法。 こうした環境では、危険な質問へ文章で拒否するだけでなく、ツール操作の途中で危険な行動を避ける能力を訓練する。安全性の対象が最終回答だけではなく、考える、操作する、結果を確認するという一連の行動へ広がっている。 生物・化学分野では、合成例、実運用由来の例、半合成例を安全訓練へ使ったことも明記されている。18歳未満向けの安全方針も、システムフィルターだけでなくポストトレーニングへ統合されている。 ⭐️職場アプリでは「訓練」と「評価」を分ける必要がある メール、ブラウザ、プロジェクト管理、営業システムなどを再現した環境については、「その環境で全部訓練した」と書くと少し言い過ぎになる。専門業務環境を対象とした訓練は確認できるけど、具体的な職場アプリ環境は主に安全性の評価環境として説明されている。 公式に確認できるのは、専門業務向けの訓練を行ったことと、メール、メッセージ、ブラウザ、プロジェクト管理、営業システムなどを再現した環境で、安全性を評価したというところまで。 重大な操作を慎重に扱うようAstraを訓練したことも明記されている。ただし、送信や購入前に確認を求めるconfirmation policy自体は、展開時にエージェントへ指示として渡される外部ポリシーになっている。 ⭐️105万トークンは巨大な「作業範囲」 Astraのコンテキストウィンドウは1,050,000トークン、最大出力は128,000トークン。コンテキストウィンドウとは、現在の入力、会話履歴、ツール結果、推論情報などを含め、モデルが一度の処理で参照できる範囲のこと。 ただし「105万トークンの文章を入力して、さらに別枠で12万8000トークンを必ず出力できる」という意味ではない。reasoning tokenも同じコンテキスト領域を使うので、入力が長くなるほど推論と出力へ残せる領域は減っていく。 長文検索評価では、512K〜1Mトークンの範囲でも高い性能が報告されている。ただし、この数字からLongRoPE、YaRN、Sparse Attentionなど、内部で使っている長文脈技術を特定することはできない。 ⭐️画像は読めるけど音声と動画には直接対応しない Astraの直接入力はテキストと画像で、直接出力はテキスト。音声入力、音声出力、動画入力、動画出力はモデル本体の仕様では対応していない。画像を理解して、その内容について推論する能力はある。 画像生成は対応ツールとして用意されているけど、Astra本体が直接画像を出力しているわけではない。Astraが画像生成ツールを呼び出し、別の画像生成システムが画像を作るという構成になっている。 なので「画像を直接生成するマルチモーダルモデル」というより、「画像を理解でき、必要なら画像生成ツールも使えるテキスト出力のreasoning model」と説明する方が正確。 ⭐️Fine-tuning非対応の意味は少し注意が必要 公式ページにはFine-tuning Not supportedと書かれている。これはAPI利用者がGPT-6 Astraを自分のデータでFine-tuningできないという意味で、OpenAI自身が事前学習後の追加学習をしていないという意味ではない。 実際には強化学習、アラインメント、安全訓練、18歳未満向けのポストトレーニングなど、事前学習後の追加学習が複数行われている。 なので「AstraはFine-tuningされていない」ではなく、「利用者向けのFine-tuning APIには対応していない」と書くのが正確。 ⭐️Astraは外部ツールを呼び出すモデル AstraはResponses APIから、Web検索、ファイル検索、画像生成、Code Interpreter、Hosted Shell、Apply Patch、Skills、Computer Use、MCP、Tool Searchなどを利用できる。Function CallingとStructured Outputsにも対応している。 ただし、Web検索やシェル、画像生成器、MCPサーバーがAstraのニューラルネット内部へ入っているわけではない。Astraが「どのツールを、どんな引数で呼ぶか」を生成し、別の実行システムが処理して結果をモデルへ返す。 つまりAstraの実用上の能力は、モデル単体の知識だけで成立しているわけではない。モデルの推論能力と、外部ツールから取得した情報や実行結果を組み合わせることで、複雑な仕事を進められる。 ⭐️Computer UseもモデルだけでPCを触るわけではない Computer Useには主に二つの方式がある。コード実行方式では、AstraがPyAutoGUIやPlaywrightなどを使う操作コードを書き、外部の隔離環境がコードを実行する。Computer tool方式では、マウスやキーボード操作を構造化して返す。 Computer tool方式では、アプリケーションがAstraから受け取った操作命令を、実際のマウス入力やキーボード入力へ変換する。Astraのニューラルネットがパソコンのハードウェアを直接操作しているわけではない。 OpenAIはAstraではコード実行方式を推奨している。コードならクリックを一回ずつ返すより、条件分岐、繰り返し、画面確認などをまとめて処理しやすく、長いPC作業を効率よく進められる。 ⭐️非同期ツール呼び出しで待ち時間も使える AstraにはAsync tool callingがある。時間のかかる外部ツールをアプリケーションが実行しているあいだに、その結果へ依存しない別の部分を考えたり、別のツールを呼んだり、独立した作業を進めたりできる。 ただし、Astraが外部ツールを裏で勝手に実行するわけではない。ツール本体はアプリケーション側が実行し、対応するcall_idと一緒に結果を後からAstraへ返す仕組み。 Async tool callingはニューラルネットの内部構造というより、Astraのツール利用能力とResponses APIの並行実行機能を組み合わせたものになる。 ⭐️作業中でも追加指示を取り込める Mid-turn steeringでは、Astraが長い仕事を進めている途中でも、ユーザーが訂正や新しい条件を送れる。Responses APIは、それまでに完了した作業を保ったまま、新しく追加された指示を反映して続きの処理を進める。 さらにconfiguration_updateを使えば、会話の途中でreasoning effortを変更できる。簡単な確認ならlow、難しい局面ではhighやmaxへ上げるといった使い分けが可能。 ただし変更できるのは現在reasoning effortだけで、人格や安全方針まで途中で自由に切り替える仕組みではない。 ⭐️推論状態の保持と普通の会話履歴は別物 Responses APIにはpersisted reasoningがある。普通の会話履歴は、ユーザーとAIが読める文章を次の呼び出しへ渡す仕組みだけど、persisted reasoningは以前の推論項目を再利用し、複数ターンにまたがる問題解決を続けやすくする仕組み。 保存される推論項目は不透明なデータで、内部推論の文章がそのままAPI利用者へ公開されるわけではない。普通の会話履歴、推論状態、reasoning summaryは、役割の違う三つの情報として扱われる。 Compactionという長い履歴を圧縮する機能もある。重要な情報を残しながらコンテキスト消費を抑える仕組みで、こちらもAstra本体のニューラルネット内部構造ではなくResponses API側の機能。 ⭐️過去ウィンドウの検索はCodex側の実験機能 Codex版Astraでは、コンテキストが満杯になってもノートを次のウィンドウへ持ち越し、以前のコンテキストウィンドウを検索できる実験機能が導入されている。過去のテスト結果や修正に失敗した理由を、必要になった時点で取り戻せる。 ただし、Astra本体へ「永久記憶」が追加されたわけではない。Codex側の実行ハーネスが、Astraの残したノートや過去のメッセージ、ツール結果を保存、検索し、必要な情報を再びモデルへ入力する仕組み。 正式発表時点では実験機能で、Astra API全体に標準搭載された長期記憶というわけではない。 ⭐️外部の安全監視はモデル本体とは別の層 Astraの外部展開では、入力、出力、内部Chain of Thought、ツール呼び出し、ツール結果などをまとめて調べる非同期のmisalignment monitoringも導入されている。重大な問題が検出された場合、会話を停止したり終了したりできる。 高リスク領域では、モデル内部の活性化パターンを調べるactivation classifier、話題を判定する分類器、危険度をより詳しく判断するsafety reasonerなども組み合わせている。 Full-context monitor、activation classifier、Auto-review、アクセス制御、ネットワーク隔離などは、Astraというニューラルネットそのものを作る技術ではなく、Astraを安全に動かすための周辺システムと考えた方がいい。 ⭐️ただし監視システムも完全ではない System Cardでは、AstraがGPT-5.6 SolよりChain of Thoughtを制御しやすく、CoTを使った監視が難しくなったとも報告されている。監視されていると伝えると推論文を短くし、一部の敵対的評価ではCoT監視を回避する場合も確認されている。 このCoT制御能力は、RL訓練が進むにつれて増えていった。OpenAIは、直接CoTを採点した結果ではない可能性が高く、アーキテクチャ変更による差でもない可能性が高いとしているものの、原因自体はまだ調査中。 なので「Astraは内部推論を全部監視できるから安全」とは言えない。モデル本体のアラインメントを中心にしつつ、実際の行動やツール結果まで見る外部監視を補助的に重ねている。 ⭐️ベンチマークから内部構造を逆算するのは危険 Astraは長文脈、Computer Use、コード、数学、サイバーなどで高い評価結果を出している。ただし公開されている評価値は、reasoning effortやシステムプロンプト、ツール、実行ハーネスなどの条件が組み合わされた結果でもある。 ARC-AGI-3ではResponses APIの専用ハーネス設定が使われ、Computer UseではCodexハーネス更新による高速化も含まれている。つまり数字はモデル重みだけではなく、モデルと実行システムを合わせた性能を含んでいる。 なので「長文検索性能が高いからLongRoPEを使っている」「ARC-AGI-3が高いから再帰Transformerを使っている」といった内部構造の逆算はできない。 ⭐️公開資料からまだわからない技術もかなり多い 現時点では、総パラメータ数、実行時パラメータ数、DenseかMoEか、Expert数、層数、隠れ次元、Attention head数などは公開されていない。 GQAやMLAの採用、位置符号化、長文脈拡張法、視覚エンコーダー、Tokenizer、事前学習トークン数、合成データ比率、訓練FLOPs、Optimizer、正確なRLアルゴリズム、報酬モデル、Process Rewardの使用、蒸留元モデルも不明。 なのでMoE、LongRoPE、再帰層、世界モデル、特定のVerifier、GRPOなどを「GPT-6 Astraで採用されている技術」と断定するのは、現段階ではまだ推測になる。 ⭐️まとめるとAstraの中心は「推論RL＋エージェント化」 GPT-6 Astraは、多様なデータによる事前学習を土台に、強化学習によって推論、方針変更、間違いの認識を学ばせたreasoning model。事前学習データの構成からRL中の採点までアラインメントを組み込み、Model Specの具体例、専門業務、安全な行動の訓練を重ねている。 さらにGPT-Red方式の自動レッドチーミングと敵対的訓練によって、直接・間接プロンプトインジェクションへの耐性も高めている。製品側では、105万トークンの長文脈、画像理解、可変推論量、Web検索、コード実行、Computer Use、MCPなどをResponses APIから接続できる。 非同期ツール呼び出し、途中からの追加指示、推論状態の保持、コンテキスト圧縮、Codexの過去窓検索、外部安全監視まで組み合わせて、長い仕事を最後まで進めるエージェントシステムとして提供されている。 公開資料から確認できるGPT-6 Astraの本質は、未知の新型Transformer部品よりも、大規模な推論RLとアラインメントで作ったモデルを、ツール、長期コンテキスト、並行実行、安全監視へ接続した汎用エージェントシステム、というところかな。