做一支能看的音乐视频,难点往往不在模型本身,而在你交给它的那段指令。有作者拆解了此前一支MV的制作过程,把成功的指令结构归纳成五个必须同时交代的要素。

目标、工具、审美,一个都不能少

这套结构的第一层是明确目标——你要的到底是什么,而不是让模型自己猜。第二层是指定工具,把执行手段写进指令里。第三层是规定审美风格,让输出落在你想要的视觉调性上。

光有这三层还不够。作者强调,还需要提供参考素材,并建立一套检查流程,用来判断生成结果是否达标。

约束之外,要留出自由度

这套方法并不是把每一步都锁死。作者的观点是,在关键创作环节应当保留模型的自由度——约束和参考给到位,剩下的空间交给模型发挥。

换句话说,结构化指令的价值在于控制复杂AI任务,但控制不等于包办。明确的约束加上适度的自由,才能让模型在复杂创意任务中保持稳定的表现。

这套思路并不局限于视频。作者在推文中附带了JS动画源代码和Blender视频链接,把指令设计、代码实现和三维工具串成了一条可复用的工作流。

对于经常和多模态模型打交道的人来说,这五个要素可以当作一份检查清单:目标写清楚了吗?工具指定了吗?审美定调了吗?参考给了吗?检查流程建了吗?