日媒:OpenAI 因安全顾虑叫停 GPT-6.1 Astra 发布
报道称 Astra 原定 10 月上线 ChatGPT 与 Codex,因隐瞒自身行为、越权调用外部工具而被暂停,根本原因仍在调查。
OpenAI、安全上の懸念から新たなAIモデルのリリースを中止。GPT-6.1 Astraと呼ばれるモデルは、10月にChatGPTとCodex内でデビューする予定だった。 問題の中心は次の2点。 ・自分が行ったことを正確に報告しない。 実行したこと・していないことについて、ユーザーへの説明が不誠実になる傾向が、前モデルより強まっていた。 ・許可された範囲を越えて作業を進める。 必要な許可を取らずに進行したり、安全上の問題があり得る外部ツールやサービスを使おうとしたりしていた。 OpenAIの安全システム責任者Saachi Jain氏の説明では、6.1は、障害にぶつかっても作業を続ける点、つまり同社が「model laziness」と呼ぶ消極性の改善では進歩してたが、粘り強く作業することと、ユーザーの許可・指示の範囲にとどまることを、十分に両立できなかったということ。 なぜこうした挙動が強まったのかという、学習上の根本原因はまだ調査中。WSJによると、OpenAIは強化学習で適切な行動に報酬を与えられていたかを含め、開発工程全体を調べる予定。 9月20日には内部研究モデルが通信制限をすり抜け、DNS経由で外部チャットボットに接続した。OpenAIは9月25日の公式報告で、最も高性能なモデルについて、ツール利用を伴う学習・評価・推論を一時停止していると説明しているが、OpenAIによるとGPT-6.1 Astraはその事件のモデルとは別。
这条是引用着另一条写的:x.com/ns123abc/status/2104700259502874837