Opus 5.5 orchestrates a virtual character's dance MV end to end
Opus 5.5 designed the choreography, wrote the compositing program and checked the output, while Grok generated the dance video, Suno made the song and Whisper aligned the lyrics for a character's singing-and-dancing MV.
てみろちゃんの新曲「ぐぬぬ」 ダンス動画です♬ 過去イチかわいい🤣 最大のポイントは「表情リファレンス」 表情リファレンスが最適解過ぎた。 Opus 5.5 さん、よくやった♬ それに応えるGrokさんも優秀。 今回のポイントは 「キャラ全身画像」と 「表情6種画像」を入れたこと。 ダンスは以前の16コマのコマ送り画像じゃなく、「プロンプト」でコントロールしてます。 プロンプトを組み、表情でリファレンスする。 あとはOpus 5.5に「全自動でおなしゃす」です。 以下が今回使ったツールです。 FilmoraもAfter Effectsも使用していません。 なお、同手法はMiniMaxH3、Wan3.0でも「効きました」！！Seedance2.5を使わなかったのもコスパがよく、評価できる点。 ーーーー 振り付けの設計、合成のプログラム、仕上がりの点検： Claude Code Opus 5.5 曲： Suno（てみろ「ぐぬぬ」） ダンスの動画： Grok の動画生成（緑の背景の前で撮影） 歌詞が歌われる時刻の聞き取り： Whisper 背景・歌詞の文字・残像・白フチの合成： Python（OpenCV・NumPy・Pillow） 動画の書き出し： ffmpeg