打开网易新闻 查看精彩图片

新智元报道

打开网易新闻 查看精彩图片

用 AI 做视频的同学总有这样的痛苦:提示词也不是没认真写,运镜方向、人物走位、画面构图交代了一大段,但模型给出的画面总是差着一截,运镜偏了几十度,人物走到中途消失,镜头速度前半段稳后半段飘。

ControlNet 论文对这个问题有过解释:文生视频系统天生缺空间锚定能力,运镜和人物站位这些空间信息用文字描述时精度就是不够,粗糙的 3D 白模才是空间锚点的正解。

白模控制被定位成面向专业影视制作的高级能力。

但做白模要么学 Blender(学习周期以月计),要么搭 ComfyUI 节点(需要一点编程基础),大量没有建模经验的创作者一直被卡在这道门槛上。

updream 在 8 月 17 日上线了一个叫「预演台」的新功能。

打开网易新闻 查看精彩图片

做法是传一张参考图进去,系统自动生成 3D 白模场景,创作者在场景里拖拽设置摄像机运动轨迹和人物走位,录完白模视频一键回到画布送进模型。

打开网易新闻 查看精彩图片

为了测这条路径到底管不管用,我们选了三个影史经典镜头做实测,每组都分别做了白模参考版和纯提示词版交给 MiniMax H3。

三颗经典镜头实测

这三个镜头分别测试了 updream 在「预演台」新功能加持下,一镜到底、多机位切换、复杂空间调度这三方面的能力究竟如何。

致敬《好家伙》:科帕卡巴纳跟随长镜头

这是斯科塞斯教科书级的跟随镜头——镜头从身后跟着一对男女穿过后厨走廊、推门进入餐厅、走到桌前坐下,15 秒不切,考验的就是运镜轨迹的连续性。

用一张意大利餐厅后厨走廊的概念图传入预演台。

打开网易新闻 查看精彩图片

生成的白模场景走廊纵深结构很清楚,两侧墙壁和尽头推门的位置都还原出来了。

打开网易新闻 查看精彩图片

在白模里设了两个人物沿走廊前行的走位轨迹,机位在身后两米左右用「特写跟踪」功能锁定跟随。

白模参考版中,镜头全程跟住了两个人物,推进速度基本均匀。

但第一次生成时,在第 4 秒时,两个服务员合二为一,中间撕裂的鬼影十分诡异。

生成了两次,第二次拿到了相对令人满意的结果。

纯提示词版的问题出在推门的瞬间。

镜头在走廊段跟了大约五六秒还是稳的,但进入餐厅的时候突然加速,跟随距离直接从身后两米跳到了人物正侧面,后半段几乎变成了侧拍。

生成了 3 次,没有一次能在推门环节保持住跟随轨迹。

致敬《盗火线》:咖啡馆镜头正反打

迈克尔·曼最经典的一场戏,两个男人隔桌对坐,三个固定机位正反打。

在预演台里设了侧面中景、角色甲正面近景、角色乙正面近景三个机位,时间轴上手动设好四段切换:A 四秒、B 三秒、C 四秒、再切回 B 四秒,每段首尾打好关键帧。

打开网易新闻 查看精彩图片

白模参考版的三次切换时机基本准确,第三刀(C 切回 B)比预设时间点大约晚了半秒,但不影响叙事节奏。

三个机位的景别都对了,侧面确实是中景,正面确实是近景,两个角色在不同机位之间的面部特征也保持得比较稳定。生成了两次拿到了可用的结果。

纯提示词版在第二次切换之后开始出问题:几个镜头之间的调度顺序都是错的。生成了 3 次,最好的一次在切换时机上也只对了前两刀,耗尽了抽卡的心力。

致敬《老男孩》:走廊侧面横移

朴赞郁的走廊长镜头,主角从左走到右,走廊里站着三个人挡路,依次侧身挤过,镜头在走廊对面做完全水平的横移跟拍。

四个维度同时在考验:主角走位、三人站位和通过顺序、横移速度、侧面构图锁定。

走廊的白模生成出来之后摆了四个人物,主角在最左端。机位轨迹用「绘制轨道」在走廊对面墙旁画了一条水平线,框选所有关键帧之后设成看向主角,高度手动调到一米五左右。

白模参考后的侧面构图保持了大约十二秒,最后三秒开始轻微向四分之三侧面偏转,偏转幅度不大,整体仍然读得出横向卷轴的感觉。

横移速度和主角行走速度基本同步,三个配角的站位正确,通过顺序也没有乱。

而经过两次尝试,纯文字版的站位无法做到像使用白模参考一样得到精确控制,甚至出现了人物像幽灵一样突然现身的诡异 Bug。

算一笔账,说几句实话

三组实测下来,白模参考版相比纯提示词版,显著减少了「抽卡」的次数,产出随机性得到有效控制。

但预演台也不是打开就会用的东西,对于新手而言还是有一点上手门槛的。

界面涉及 3D 场景操作,官方建议先读教程再上手,对完全没有空间编辑经验的创作者需要一段适应时间。

生成的是粗粒度白模,锁定动作路径和运镜方向够了,但精细建模级别的场景还差一截,细粒度白模需要自己做好了导入。

白模参考降低的是抽卡次数,不消灭抽卡,第一组实测里白模版也生成了两次才拿到满意结果。

不同创作者从这个工具里能获取到的价值不一样。

零基础的个人创作者受益最直接,建模的门槛被彻底跳过了。

有镜头语言经验的影视从业者可能等这类工具等了很久,终于能在 AI 视频生成里用上正经的运镜设计。

3D 从业者可能嫌粗粒度白模精度不够,但拿来快速验证一个镜头的方案确实省了手搭白模的时间。

updream 同步开启了「updream 预演台白模创作挑战赛」(今天起到 9 月 15 日 23:59),设了两条赛道:Showcase 创作赛道下分经典再映、调度大师、镜头新世界三个方向,要求成片和白模预演同屏呈现;预演台教程赛道,收预演台操作教学和创作经验分享。优秀的作品最高可 100 万积分(价值 10000 元)奖励,优秀创作者还有签约合作机会。

AI 视频这一年,各家比的是模型的画质、运动自然度和生成时长。模型能力拉近之后,下一轮比的是工作流,比谁能让创作者更稳定地出片。

白模参考是工作流里控制精度最高的一环,ControlNet 验证了路线,Seedance 2.5 和 MiniMax H3 给了模型支持,updream 预演台把工具门槛降了下来。

三块拼图齐了,还缺最后一步验证:预演台的粗粒度白模在大量真实创作场景下能撑住多复杂的镜头——而 updream 举办的挑战赛的首批作品会给出第一轮数据。

体验官网:https://www.updream.cn/