Claude Code Opus 5.5 MV: syncing koto hand motion to stems
The author uses Claude Code Opus 5.5 for an MV, splitting the song into stems and feeding analyzed audio to MiniMax H3 so koto hand motion matches the music.
🐈🎬ネコ店長、はじめてのMV制作‼️ 『Claude Code Opus 5.5』にぶん投げでMVを制作中です！ 前回、一通りMVを編集してもらったのですが、琴を弾く手の動きが音楽と合っていませんでした。 そこで、今回はこんな方法を試してみました！ ・曲を楽器ごとに分解 ・それぞれの音を解析 ・解析した音をMiniMax H3に渡して動画を生成 すると、いい感じに音楽と手の動きが合いました‼️ 手も滑らかに動くようになりました✨ この手法も完璧ではなく、だいたい合う程度のようですが、私には十分です！！ ただ、まだ改善点もあります。 シーンによってキャラクターの見た目が変わってしまうので、次はこちらを改善していきます！ ・ヘクトさんのサングラスの色が変わっている ・マキちゃんの服装が変わっているなどです！ ＿＿＿＿＿＿＿ ■琴の手を合わせる詳細な手順を載せておきます。 ご参考までに！ 琴の手を音に合わせたやり方は、歌う口を歌に合わせたのと同じ方法です。 手順 1. 曲を楽器ごとに分ける 無料の分離ツール（Demucs）で、曲を「歌・ドラム・ベース・その他」の4つの音に分けました。琴の音は「その他」に入っています。 2. そのカットの時刻だけ切り出す ボスの手元のカット（I1）は曲の0:00〜0:01.84なので、「その他」の音をその時刻で切り出します。動画生成は最初の約0.3秒が止まった画になるので、その分だけ早めに切り出し、動画の長さ（約2.4秒）に合わせます。曲の始まりより前の部分は、無音で埋めます。 3. 静止画と一緒に、音を H3 に渡す H3 には「音声を指定する」設定（target_audio_url）があります。歌うカットでは、ここに歌声を渡して口を合わせていました。楽器のカットでは、ここに楽器の音を渡します。指示文には「手の動きは音楽に合わせる。弦をはじくたびに音が鳴る」と書き足しました。 4. 頭の止まった部分を捨てて使う できた動画の最初の0.3秒を切り捨て、カットの長さ（1.84秒）に切り出します。これで、画の動きと曲の時刻がそろいます。 以上です。
This post quotes another post: x.com/neko_ai_p/status/2113605750962663735