Using Opus 5.5 to compose code-to-music for a video
The author found AI-generated ambient music too expensive and uncontrollable, so they had Opus 5.5 write scores in Python, drive synths and samples, and mix stems to produce a 58-second tech video soundtrack that syncs precisely to the voiceover.
事情是这样的，我在给我的视频配乐，但AI生成vibe音乐太贵了，并且节奏、音轨、音调等无法做到编曲级别的可控。于是我让claude opus 5.5 做 code-to-music看看。 他直接 1. 【写谱】：Python 加 mido 库，把上面的谱写成音符事件和标准 MIDI 文件，一个声部一轨。 2. 【电子音色发声】：Python调用 Spotify 开源的 pedalboard 加载 Surge XT 合成器插件，调用 钢琴、弦乐 等音色，除此以外还有3000 多个出厂音色 3. 【真乐器发声】：sfizz 命令行控制每个声部，SFZ 是纯文本的乐器定义，起音、滤波、力度曲线都能直接改 4. 【混音】：每轨先按「有声部分」的响度对齐到各自的目标电平，钢琴 −21、小提琴 −22、低音和鼓 −25、铺底和琶音 −29，再走各自的效果链。效果器全是 pedalboard 的。 最后曲子的拆解如下，相较于AI的 vibe music只能控制风格，这种编曲级别的作曲方式可以精准控制配乐节奏和情绪 与 我的视频口播稿配合： 1. 定位： 科技解读视频的垫底配乐，不抢口播，但要有往前推的感觉。D 小调，100 BPM，约 58 秒。作曲和音色分开做：先把风格描述写成谱，再给每个声部挑音源。 2. 结构： 共 22 小节，分三段。 - 前奏：只有铺底和钢琴； - 展开：加入弦乐、低音、琶音和鼓； - 回落：钢琴放慢，收在 Dm。 3. 轨道： - 铺底：每小节一个长和弦，用 Surge XT 合成器的音色 - 钢琴：八分音符分解和弦，用 Salamander 三角钢琴采样 - 弦乐：小提琴拉旋律，中提琴做内声部，大提琴拉根音，用 VSCO-2 弦乐采样 - 琶音：十六分音符，用 Surge XT 的音色 - 鼓：底鼓在 1、3 拍，闭镲每半拍一下，后段加边击，用 Sam's Sonor 鼓组采样 4. 节奏与动态： - 铺底一小节一个和弦，钢琴一拍两个音，琶音一拍四个音，层层叠出推进感。 - 每个音的力度随机微调，避免机器味。 - 弦乐渐强进入、回落时渐弱。采样的起音原本只有 1 毫秒，太硬，改成 0.28 秒，拉得更柔。