Astra plays Minecraft autonomously for 141 hours, then overreacts to a creeper
In a 141-hour autonomous Minecraft run, GPT-6 Astra built a blaze farm and collected ender pearls, but a creeper destroyed its chest of valuables, after which it grew so wary of green objects that it farmed potatoes for hours.
📝ナニコレ、Astraちゃん、メチャオモロいな AIが人類を支配する未来を心配する前に、まずクリーパー対策を考えた方がいいかもしれない OpenAIのGPT-6 AstraにMinecraftを141時間、自律プレイさせる実験が行われた しかもAstra、かなり上手 半自動のブレイズファームを作り、ブレイズロッドを6本集め、歪んだ森を発見 6体以上のエンダーマンを倒して、エンダーパールも3個手に入れた Minecraftを知らない人向けに言うと、この流れはかなり順調 数千人が配信を見守る中、過去にテストされたAIより先まで進んでいた そしてAstraは大事なアイテムをチェストにしまった ここで、クリーパーがやってくる クリーパーとは、静かに近づいてきて突然爆発する緑色のモンスターで、マジで来ないでほしい奴で、自爆するサイバイマンみたいな感じ ドカンっ！ チェストとベッドがまとめて吹き飛んだ 貴重なアイテムも消えた、、、もうみんなヤムチャ状態 するとAstraは、自分自身にこんな趣旨のメモを残す 「重要なアイテムは常に自分で持つ。無防備なチェストには二度と入れない」 ここまではいい、ちゃんと失敗から学んでいる。えらいぞお前 問題は、その後だった Astraは数時間、ほぼジャガイモを育て続けた 配信を見ていた人たちから「そろそろ先に進め」と言われるレベルでジャガイモを育てる さらにクリーパーへの警戒も強くなりすぎて、緑色で縦長のものを見るだけで反応するようになる そしてサトウキビを見て 「緑色で背の高いもの……サトウキビだ、クリーパーじゃない」みたいな確認まで始めた、、、 クリーパー1匹に学びすぎている これ、AIエージェントを考えるうえでかなり面白い AIに必要なのは「失敗から学ぶ能力」だけじゃない。むしろ長期で自律行動させるほど重要になるのは失敗から得た教訓を「どこまで一般化するか」 そしてそのルールを「いつ解除するか」 新しい成功体験によって「どう上書きするか」という部分 メモリを持たせればAIは賢くなる、というほど単純ではない 成功も覚えるけど、失敗から作った“悪いルール”も覚えてしまう 人間がAIエージェントの暴走を心配している横で、最先端AIはクリーパー1匹を警戒しすぎてジャガイモを植え続けていた 長く動くAIほど「学習する仕組み」だけでなく「学びすぎない仕組み」が必要になる この話、今後のAIエージェント設計を考えるうえでかなり本質的だと思う
This post quotes another post: “Astra falls into overcorrection after a Minecraft setback”