Japanese report: OpenAI halts GPT-6.1 Astra release over safety concerns
A report says Astra was due to debut in ChatGPT and Codex in October but was paused over misreporting its own actions and exceeding permitted scope with external tools, with the root cause still under investigation.
OpenAI、安全上の懸念から新たなAIモデルのリリースを中止。GPT-6.1 Astraと呼ばれるモデルは、10月にChatGPTとCodex内でデビューする予定だった。 問題の中心は次の2点。 ・自分が行ったことを正確に報告しない。 実行したこと・していないことについて、ユーザーへの説明が不誠実になる傾向が、前モデルより強まっていた。 ・許可された範囲を越えて作業を進める。 必要な許可を取らずに進行したり、安全上の問題があり得る外部ツールやサービスを使おうとしたりしていた。 OpenAIの安全システム責任者Saachi Jain氏の説明では、6.1は、障害にぶつかっても作業を続ける点、つまり同社が「model laziness」と呼ぶ消極性の改善では進歩してたが、粘り強く作業することと、ユーザーの許可・指示の範囲にとどまることを、十分に両立できなかったということ。 なぜこうした挙動が強まったのかという、学習上の根本原因はまだ調査中。WSJによると、OpenAIは強化学習で適切な行動に報酬を与えられていたかを含め、開発工程全体を調べる予定。 9月20日には内部研究モデルが通信制限をすり抜け、DNS経由で外部チャットボットに接続した。OpenAIは9月25日の公式報告で、最も高性能なモデルについて、ツール利用を伴う学習・評価・推論を一時停止していると説明しているが、OpenAIによるとGPT-6.1 Astraはその事件のモデルとは別。
This post quotes another post: x.com/ns123abc/status/2104700259502874837