Using monocular depth maps with GPT Image 2.5 to control AI video motion
The author notes that what many call "white-model video" is actually a monocular depth map, and recommends generating reference video locally with Depth Anything V2 before making reference images in GPT Image 2.5.
之前给大家分享过红白模参考视频,控制AIGC视频动作的教程。 不过在我自己的实操过程中发现,红白模参考视频的制作还是有一定难度的,并不适合普通用户去批量化的复刻。 这里我推荐一个我自己使用的更加便捷,且完全本地的优化方案——GPT image 2.5 + 单目深度图参考视频。 是的,这玩意的学名其实叫单目深度图,而不是网上很多人说的白模视频,现在推特上很多博主也以讹传讹管这个叫白模。 这两者表现的形式类似,但是实现方法完全不一样,在本地部署时需要的算力也差了好几个档次,我当时差点被绕沟里了,这里也帮大伙排个雷。 直接使用开源项目:https://github.com/DepthAnything/Depth-Anything-V2 这个项目可以把任何视频转化成我们需要的深度图参考视频。 算力方面,用Depth Anything V2 Small 就行了,基本上都跑得动。 之后再用 GPT image 2.5 生成参考图就行了,其实也不需要生成太复杂的三视图,一张正面照片完全足够了。
This post quotes another post: x.com/pluvio9yte/status/2097240246278832351