Meta Muse text-to-video clips checked frame by frame with Claude Code and assembled in ffmpeg
The author generated five 10-second clips with sound from text alone in Meta Muse on mobile, then had Claude Code with Opus 5.5 inspect every half-second, match drum hits to the waveform, and assemble the result in ffmpeg.
Metaの「Muse」、今度は画像なしの文章だけで日本を描かせてみました。 ・テキストだけで10秒・音声つきを5本、全部一発出し ・看板の「やおや」「たいやき」は指定どおりの文字で出た ・雪原を走る柴犬は、最後まで柴犬のまま ・ただ、駅を通過する高速列車は先頭車両が何度も生えてくる破綻 速い動きが苦手なのは、Meta自身も言ってるところ。 ────────────── プロンプト（短縮版） ①昼の商店街、看板に「やおや」、のれんに「たいやき」 ②湯気の立つしょうゆラーメン、箸で麺を持ち上げる手元 ③冬の朝の雪原を、柴犬がこっちへ全力疾走 ④白い高速列車が、駅を猛スピードで通過 ⑤秋祭りの和太鼓を叩く手元とバチ ────────────── 制作フロー スマホのMuseで5本生成 →Claude Code(Opus 5.5)が 0.5秒刻みで検収 → 打音を波形で拾って画と照合 → ffmpegで組み立て ────────────── ラーメンは具は日本のしょうゆラーメンなのに、麺だけインスタント麺みたいな縮れ麺になってた。 太鼓は前半だけ音とバチがちゃんと合ってて、後半は太鼓が画面の外に行っちゃう。惜しいところも全部そのまま入れてます。
This post quotes another post: “Meta Muse clips reviewed and assembled by Claude Code Opus 5.5”