电影和电视导演要是拍完的镜头不理想,后期可以拿各种工具来修修补补。比如把不小心入镜的设备或者多余的群演给去掉。但要处理更复杂的物理互动,这招就不太够用了。

订阅我们的邮件,获取最新科技资讯。

打个比方,你要删掉一个正在碰着或撑着别的东西的物体,传统工具删完那个东西后,剩下的物体动作会违反物理规律——比如把角色坐的椅子删了,角色就悬在半空了。

懂点物理的招数

懂点物理的招数

所以Netflix的研究员和合作者搞出了一个叫VOID(视频对象与交互删除)的AI框架,不光是简单地把东西从画面里去掉,还能模拟出东西消失后的物理效果。所以,还是刚才那个例子,椅子一没,它就能让角色自己掉到地上,看着可自然了。

这项创新的详细内容已经发表在一篇论文里,你可以在arXiv预印本服务器上找到它。

为了确保移除物体后画面看起来真实,而不是违反物理规律,VOID就像一个有物理感知的编辑系统。

它分三步来理解场景。首先找出所有可能受变化影响的区域,然后创建一张专用映射图(叫quadmask),用来标记阴影该消失的地方或物体可能移动轨迹不同的地方;接着生成一个新版本的视频,把所有变化都考虑进去。最后再对场景做一轮处理,优化运动效果,确保物体沿着不同路径走动时不会变形或走样。

学习因果关系

学习因果关系

该系统经过数千对数字序列的训练,从而让它学会因果关系。通过观察这些模拟动作,它搞清楚了支撑、碰撞或障碍物消失时,物体一般会怎么反应。

为了说明VOID如何处理连锁反应,研究团队举了一个例子:一段多米诺骨牌倒塌的序列,其中中间的牌被删除。AI就得“明白”,缺了这些牌传递能量,后面的牌就该不倒。正如他们在论文中指出的:“VOID准确模拟了多米诺效应中断,所以黄色方块始终没倒。”

能做到这点,是因为AI不只是复制像素而已:“VOID并不仅仅是翻出训练数据里的视觉线索,而是用上了高级推理和世界知识……”

研究人员现在希望进一步扩展VOID的能力,用来处理更复杂的场景。

这篇文章由我们的作者Paul Arnold撰写,由Gaby Clark编辑,并由Robert Egan进行事实核查和审校——这是经过人工仔细打磨的成果。全靠像您这样的读者,才能让独立科学新闻持续下去。如果这篇报道对您有价值,请考虑捐款支持(尤其是每月定期捐款)。

更多信息: Saman Motamed等人,《VOID:视频对象与交互删除》,arXiv (2026)。 DOI: 10.48550/arxiv.2604.02296