打开网易新闻 查看精彩图片

本文刊发于《现代电影技术》2026年第10期

专家点评

王 萃

正高级工程师

中国电影科学技术研究所(中央宣传部电影技术质量检测所)高新技术研究处处长

三维数字内容生成技术正处于快速发展阶段,三维重建、几何生成和神经渲染等关键技术持续进步,在影视数字资产制作、虚拟场景构建和视觉特效生成等领域展现出广阔的应用前景。近年来,以三维高斯泼溅(3DGS)为代表的新型三维表征与渲染技术不断发展进步,凭借高质量场景重建与高效渲染能力,为场景数字化和影视制作提供了新的技术路径。与此同时,生成式人工智能(GAI)推动三维内容生成技术不断突破,在几何形状生成、材质纹理合成和三维资产构建等方面取得显著进展。面向角色变身、物体重组等影视制作需求,三维生成与重建技术为三维形变生成提供了新的技术方法,但复杂形态转换仍面临拓扑结构差异、形变过程中时空一致性与纹理连续性,以及生成资产可编辑性等技术难题。《面向影视特效制作的三维物体形变生成算法研究》一文围绕上述问题,梳理三维形变技术研究进展,提出结合三维高斯泼溅与显式网格的形变生成框架,利用语义对应与几何、外观协同优化实现高保真三维形变与可编辑资产生成。全文立足影视生产流程的实际需求,进一步探讨该技术在虚拟摄制、影视特效及数字资产制作中的应用前景,为3D智能生成技术深度融入影视工业化生产管线提供了切实有效的技术路径与实践参考。

作者简介

打开网易新闻 查看精彩图片

李梦甜

博士,上海大学上海电影学院、上海电影特效工程技术研究中心讲师,主要研究方向:面向影视、游戏与艺术领域的数字内容理解与生成。

白云舒

上海大学上海电影学院硕士研究生在读,主要研究方向:三维重建、三维场景理解、三维物体形变。

打开网易新闻 查看精彩图片

摘要

随着人工智能生成内容(AIGC)技术的快速发展,影视特效智能生成技术正受到越来越多的关注,并有望在未来影视制作中发挥关键作用。本文系统梳理了影视形变特效技术的研究现状,针对目前传统制作流程中存在的建模成本高昂、手工关键帧制作周期长等产业瓶颈,创新性提出了面向影视制作的网格引导3D高斯形变特效生成技术。该框架整合了三维高斯泼溅(3DGS)与显式网格技术,不仅能根据多视角图像快速重建高保真三维资产,同时还可提供基于语义一致性的拓扑映射机制,为影视制作流程中复杂形变镜头的自动化生成提供可靠技术支持。最后,本文分析和展望了AIGC技术在影视特效制作领域的发展趋势,指出这一智能化方案将在虚拟摄制、资产快速构建、视觉特效制作及中小成本影片创作中发挥重要作用,从而提高影视制作的整体效率。

关键词

三维物体形变;人工智能生成内容;电影制作;电影特效;深度学习

1

引言

物体形变(Morphing)是计算机图形学(CG)与计算机视觉(CV)的核心研究领域[1,2],同时也是现代影视视觉特效(VFX)技术的重要组成部分,其研究目标可描述为实现两个或多个物体在几何形状与外观纹理上的平滑演变与融合。通过技术手段,将源物体的特征逐步转化为目标物体的特征,从而创造出超越物理现实的视觉奇观。在影视特效领域,形变特效的研究尤为重要,其不仅是表现生物演化、超自然现象及科幻变形的关键手段,更为视觉叙事提供了独特的动态语言。 从《终结者2:审判日》中液态金属机器人T⁃1000令人震撼的液态重组,到《变相怪杰》中夸张的面部几何形变,再到当代奇幻电影中细腻的怪兽变身镜头,形变技术始终伴随着电影艺术对特殊表现手法的需求而持续演进,极大地拓展了人类的想象边界与银幕表现力。传统的形变制作高度依赖昂贵的高精度三维模型资产和资深动画师的手工操作,这种“手工作坊”式的生产方式周期漫长且成本高昂,难以满足主流影视特效制作管线对特效资产快速迭代和“降本增效”的迫切需求[3]。

随着人工智能(AI)技术的飞速发展,其在现代影视制作体系中的深度应用正显著提升生产效率,使构建高真实感、高复杂度的特效资产成本大幅降低。然而,尽管人工智能生成内容(AIGC)技术在二维图像生成领域已取得突破性进展,但在面对影视工业级的高保真三维形变需求时,现有技术解决方案仍面临诸多挑战,一是时空一致性缺失,二维生成因缺乏几何支撑,在动态运镜下易产生画面闪烁与崩塌; 二是拓扑约束严苛,传统算法依赖网格同胚,难以处理跨物种等非同胚形变; 三是现有工作流的兼容性较差。前沿的神经渲染技术通常输出难以编辑的隐式场,或是缺乏纹理的纯几何网格(白模),导致其难以直接导入主流数字内容创作(Digital Content Creation, DCC)软件中进行材质编辑与二次创作。针对上述痛点,本文首先梳理了学术界在三维形变特效领域的最新进展,并分析了其在实际应用中的局限性。在此基础上,本文设计并提出了一种面向影视制作的智能化形变特效生成系统架构。该系统旨在解决复杂拓扑结构下的高保真生成难题,打破现有制作流程的瓶颈。最后,本文将探讨该系统介入后的影视特效制作管线优化路径,并展望未来的技术发展方向,为中小成本影视项目的高品质视效生产提供理论参考与技术支撑。

2

当前电影工业中使用的形变特效制作工艺

当前影视制作领域在形变特效技术层面,已完成从二维视觉模拟向三维体积重构的演进跨越。早期的技术范式主要依赖二维图像网格变形(2D Mesh Warping),典型案例如电影《威洛》(1988)[4]和《终结者2:审判日》(1991)[5],其核心在于通过建立源图像与目标图像间的特征对应点,利用像素流动的插值算法实现视觉形态的平滑切换。随着三维全流程制作体系的普及,技术重心逐渐转向基于几何绑定(Geometry⁃Based Rigging)的混合变形。以《哈利·波特》系列(2001—2011)中的“阿尼马格斯”变形为例[6],该阶段采用了构建包含双重解剖特征的中间体模型策略,结合骨骼重定向(Retargeting)与表面收缩包裹(Shrink⁃Wrapping)技术,强制在不同拓扑结构的网格间建立映射关系。尽管该方法在一定程度上保证了解剖结构的逻辑性,但在处理跨度极大的非同胚形变时极易引发网格撕裂,且对纹理贴图的空间连续性提出了极高要求。

为突破异构物体间的拓扑限制,影视制作领域首先确立了基于体积场(Volumetric Fields)的物理仿真方案,其中最具代表性的是《毒液》系列(2018—2024)。针对共生体与宿主间的非同胚融合难题,制作团队采用FLIP流体解算方案[7]:利用基础动画驱动速度场生成高粘度粒子,进而将其转化为体积表达(Volumetric Representation)并重构为单一网格。该流程成功突破了传统多边形拓扑的限制,实现了异构物体在打破体积守恒规则下的无缝衔接。然而,当前的技术前沿正迅速向AI驱动的神经渲染转型,重点聚焦神经形变(Neural Deformation)。此类技术利用深度神经网络(DNN)在潜空间内学习生物体的高维特征分布,以替代昂贵的传统物理算力。典型案例如Wētā FX在《阿凡达:水之道》(2022)[8]中自主研发的符合解剖学合理的面部系统(APFS)。该系统利用神经网络学习了演员面部肌肉的应变(Strain)数据,实现了对面部肌群微秒级运动的实时推理与生成,标志着高精度形变技术开启了从“离线物理仿真”向“数据驱动的神经计算”的历史性变革。而《阿凡达:火与烬》(2025)则引入火山体积场(Volcanic Volume)技术[9]。该方案利用全身体积捕捉获取高频皮肤形变数据,以此驱动微观粒子解算,实现了动态表皮与环境介质(如火山灰)的物理级耦合。这一突破克服了传统几何形变无法表现复杂表面动态的局限,标志着技术正从单一“内部驱动”向复杂的“多物理场耦合交互”范式跃迁。

3

基于人工智能(AI)技术的物体形变技术发展概况

针对传统特效制作中形变耗时高昂的痛点,学术界与产业界正推动AIGC与传统CG工艺的深度融合,旨在重构生产管线。研究范式正从基于人工规则的算法向数据驱动的生成式模型演进[10],核心在于利用AI自动捕捉深层语义对应并预测物理轨迹,从而大幅削减对人工重拓扑、资产绑定及手工关键帧设定的依赖。这一变革有效解决了跨拓扑形变等复杂难题,实现了制作流程的降本增效。依据数据维度的差异,现有技术主要分为基于二维图像的生成方法与基于三维几何的生成方法。

3.1 基于二维图像的形变生成方法

在早期的影视制作中,形变往往被视为一种屏幕空间的“视觉欺骗”手段,其核心挑战在于如何实现像素级的平滑流动。传统的特征驱动方法,以Beier等[11]的特征线变形算法(Feature⁃based Warping)为代表,这正是迈克尔·杰克逊Black or White MV中经典变脸特效的技术基石。在当时的制作流程中,特效师需通过繁琐的手工操作指定特征线,以控制画面的扭曲与混合。尽管Liao等[12]引入结构相似性在半途域(Halfway Domain)自动优化了流程,以及Benamou[13]和Solomon[14]引入最优传输(Optimal Transport)理论以计算数学上更平滑的变形路径,但这类传统方法难以处理高规格影视画面中丰富的高频纹理,往往导致生成结果模糊或细节丢失,无法满足大银幕的视听需求。

随着AIGC技术的爆发,基于扩散模型(Diffusion Model)的方案为高保真视觉生成带来了转机。Hang等[2]开发的DiffMorpher利用大规模文生图模型的先验知识,在去噪过程中注入自注意力机制,成功实现了如“猫变狗”这种语义差异巨大的平滑过渡,其生成的真实感足以应对静态宣传物料的审美需求。为解决高昂的训练成本,Cao等[15]提出的FreeMorph框架通过无需微调(Tuning⁃free)的噪声插值策略,为多类别的快速形变提供了可能;而He等[16]的AID方法则通过操纵注意力图,进一步强化了语义对齐的精度。

然而,从专业影视制作的角度审视,尽管这些2D方法在单帧画质上表现惊人,但它们缺乏显式的三维空间构建。一旦应用于推拉摇移的动态运镜中,画面往往会因为几何结构随视角变化而崩塌,出现“纸片感”或时空闪烁,无法满足影视特效制作对透视关系与时空一致性的严苛标准。

3.2 基于三维几何的形变生成方法

为解决二维图像生成中空间结构缺失的根本性问题,学术界将研究视野转向三维几何领域。不同于前章节所述的基于骨骼绑定与物理模拟的工业制作流程,本节聚焦底层算法逻辑的代际更替,探讨计算机如何从早期的“硬算几何”进化到如今的“神经想象”,以解决特效资产在形变过程中的体积崩塌与结构断层难题。

在现有的主流特效制作管线中,形状插值通常依赖严格的拓扑对应。Brandt等[17]和Heeren等[18]试图在形状空间寻找能量最小的路径,以确保形变的几何平滑度。为防止模型在变形中出现“像气球一样干瘪”的体积失真,Sorkine等[19]提出的尽可能刚性(ARAP)算法成为了代表方法,其通过最小化局部单元的剪切能量,确保了角色在大幅度运动下依然保持自然的体积感。Eisenberger等[20]更是引入哈密顿动力学,试图用物理法则约束形变过程。然而,这类几何算法在面对现实需求时遇到了“死胡同”:它们要求源物体和目标物体必须是“同胚”的(即拓扑结构完全一致)。这就像要求“终结者T⁃1000”在变身前后的顶点数量必须完全一样,这在处理液态金属流动、人兽变身或物体破碎重组等视效奇观时完全失效。一旦遭遇拓扑结构改变,这类算法就会立刻产生网格撕裂或错误的顶点乱飞,难以适应现代影视制作中动辄数百万面的高精度资产需求。

为打破几何拓扑的枷锁,基于生成式AI与神经渲染的算法开始介入这一领域。Eisenberger等[21,22]推出的NeuroMorph框架是第一波突破的代表,其不再死板地计算顶点对应关系,而是利用神经网络在潜空间(Latent Space)里提取形状的高维特征,让AI去“理解”两个不同模型之间的形态关联。这意味着即使是一个没有腿的球体变成有四肢的动物,算法也能生成自然生长的过渡网格,彻底摆脱了人工重拓扑的繁重负担。更进一步,随着神经辐射场(NeRF)技术的引入,算法开始追求光影级的真实。Tsai等[23]提出的MorphFlow利用流体物理与体渲染结合,直接生成具有体积感的动态过程;Yang等[24]则利用3D扩散模型试图让AI“想象”出形变过程中的纹理细节。

尽管技术指标不断刷新,但上述AI方案在全面接入影视制作全流程时仍面临“落地两难”: 一方面,以图神经网络为代表的方法(如NeuroMorph)虽然解决了模型拓扑问题,但往往丢失了材质纹理,输出为“素模”,无法满足最终渲染要求; 另一方面,以NeRF为代表的神经渲染方法(如MorphFlow)虽然视觉效果逼真,但其输出多为隐式场,而非可编辑的显式网格。这种“能看不能改”的黑盒特性,导致下游的灯光师和动画师无法在Maya、虚幻引擎(Unreal Engine)等主流DCC软件中对其进行二次创作与打光,成为当前AI形变技术实现工业级应用的最大阻碍。

4

面向影视制作的三维高斯形变特效生成算法研发

本文旨在构建一个能够快速生成高保真、语义一致的3D形变特效技术框架,以解决电影制作中复杂形变镜头制作效率低、资产复用难的问题。如图1所示,该技术框架主要由三个核心模块组成:混合表征构建模块、语义对应计算模块以及神经形变驱动模块。

打开网易新闻 查看精彩图片

图1 多视角图片输入的三维高斯形变生成流程图

其核心工作逻辑是:首先,利用三维高斯泼溅(3DGS)[25]算法处理输入的多视角图像序列,快速重建高精度的三维场景并提取显式网格[26];其次,通过混合网格-高斯表征(Hybrid Mesh⁃Gaussian Representation)[27]将离散的高斯点云与连续的网格拓扑进行结构化绑定;随后,利用图卷积神经网络[28]提取源与目标物体的几何语义特征,建立密集的语义对应关系;最后,通过双域优化策略驱动模型在保持纹理清晰与几何结构合理的前提下完成非线性形变。

4.1 混合网格-高斯表征构建机制

为兼顾电影级渲染的高保真度与几何编辑的灵活性,本框架提出了一种混合表征机制。传统的3D高斯泼溅虽然渲染速度快、质量高,但其本质是离散的点云,缺乏拓扑连接,难以直接进行连贯的形变操作。

因此,本方法引入显式三角网格 (V, F) 作为“拓扑骨架”。具体而言,建立一种锚定机制,将每个3D高斯基元 g 的空间位置 μg 动态绑定在其最近邻的网格面片 f=(V1, V2,V3) 上。其数学表达为通过重心坐标 (w1, w2,w3) 和法向偏移量 d 来参数化高斯位置。

打开网易新闻 查看精彩图片

式(1)中,nf 为面片法向量。通过这种参数化绑定,当网格顶点 Vi 在形变场驱动下发生位移时,附着其上的高斯点云会自动跟随表面运动,同时保持局部的相对纹理分布。这一机制有效解决了纯点云形变中常见的“点云发散”和“纹理撕裂”问题,确保了形变过程中的视觉完整性。

4.2 基于语义一致性的神经形变驱动与优化算法

在构建混合表征的基础上,核心难点在于如何生成符合物理规律和生物语义的形变轨迹,同时确保形变过程中的几何结构稳健性与外观纹理的一致性。

针对输入的源网格和目标网格,本框架首先利用图卷积神经网络[28]提取其高维几何特征,并计算源顶点与目标顶点间的特征相似度,生成概率对应矩阵 Π。这一步骤确保了形变是基于“语义”而非仅仅基于“欧氏距离”,例如将源角色的“前肢”映射到目标生物的“腿部”。

为实现平滑的非线性过渡,我们定义了一个时间相关的神经形变流网络 Ψ。该网络预测从时间 t =0 到 t =1 的顶点运动轨迹,变形后的源顶点位置 Vs(t ) 更新公式为式(2)。

打开网易新闻 查看精彩图片

式(2)中,V s 表示源网格顶点位置,s表示 source,即变形开始时的模型;V t 为目标网格顶点位置,T表示 target,即最终希望变形到的模型。此外,为确保生成的特效具备高保真视觉质量,避免在非线性形变过程中出现非物理的几何扭曲或视觉伪影,本框架提出了一种几何域、外观域与语义域深度协同的多域优化策略。在几何域层面,我们引入测地线畸变损失(L geo )和刚性变形约束(L arap ),旨在强制模型在形变过程中保持其内蕴几何结构不变,防止非等距形变带来的过度拉伸;其中测地线损失通过计算源网格与目标网格在测地线距离矩阵上的差异来实现,其计算公式为:

打开网易新闻 查看精彩图片

式(3)中 D g 表示网格上的测地线距离矩阵,S与T 分别代表属于源网格和目标网格。与此同时,在外观域层面,为消除形变过程中可能产生的颜色突变或纹理模糊,策略进一步计算了基于图结构的颜色平滑度损失 L smooth ,确保相邻区域的纹理在时序上过渡自然。在语义域层面引入了语义对齐损失L align ,确保形变过程中时刻保证语义一致性。综上所述,模型训练的总损失函数被定义为几何、刚性、外观和语义对齐四者的加权和,如式(4)所示。

打开网易新闻 查看精彩图片

式(4)中,λ geo 、λ arap 、λ smooth 和 λ align 分别表示几何损失、局部刚性损失、平滑损失和对齐损失的权重系数,用于平衡各损失项对总损失的贡献。该协同优化策略有效保证了生成的形变特效既符合物理规律,又具备极高的视觉真实感,能够直接导出为通用的3D数字资产格式供后续制作环节使用。

4.3 实验测试与结果分析

为验证生成效果,本文采用以下三项指标进行评估:(a)结构稳定性(Structural Stability)MSE⁃SSIM,测量变形过程中时间SSIM曲线与理想线性轨迹之间的均方误差,值越低,表明变形过程中的结构越稳定,伪影越少;(b)颜色一致性(Color Consistency)误差 [∆E],在CIELAB色彩空间中计算对应表面点在变形过程中的感知色差,[∆E]值越低,表明生成的模型颜色过渡越平滑,无颜色混叠现象;(c)边缘完整性(Edge Integrity, EI),通过计算Canny边缘检测后的连通分量数量来评估轮廓的连续性,值越低证明生成的图像边缘越连续,结构转换越稳定。测试采用数据集TexMorph[29],一个包含合成模型、真实扫描及手机拍摄的综合数据集,涵盖多种拓扑结构和纹理丰富的物体。

本文与目前效果最好的2D方法 DiffMorpher[2]、FreeMorph[15]以及3D方法 MorphFlow[23]、NeuroMorph[21]进行比较,实验结果(表 1)表明,本文方法在所有指标上都有较为明显的优势,本文方法的MSE⁃SSIM为0.11,低于NeuroMorph的0.13(降低15.4%);颜色一致性误差ΔE为6.40,较MorphFlow的8.23降低22.2%;EI为9.0,低于NeuroMorph的13.0(降低30.8%)。

表1 本文方法与其他方法的定量对比结果

打开网易新闻 查看精彩图片

5

基于形变生成算法的智能形变系统

在影视特效制作领域,本文提出的形变生成算法具有显著的创新性。该技术不局限于单一的视觉重建,而是创新性地构建了分层级的智能资产生成方案,旨在平衡工业生产的效率与个性化艺术创作的需求。

5.1 核心架构与工作模式设计

系统流程如图2所示,本系统的核心在于通过网格引导与语义感知机制,在确保几何结构稳定与纹理高保真的基础上,大幅降低三维创作的准入门槛。在系统中设计了两种高度灵活的工作模式:

打开网易新闻 查看精彩图片

图2 基于形变生成算法的系统操作流程图

(1)标准化生成模式:针对车辆、动物、水果等通用类别,通过调用预训练模型,预计可在 2~3 分钟内快速生成高质量形变效果;

(2)个性化定制模式:针对具有独特拓扑结构或特殊纹理的素材,系统设计了专门的个性化训练路径,支持对用户上传素材进行深度解析与重建。

5.2 资产级输出功能与生产力愿景

在实际应用中,该系统框架首先具备高效的可视化预览能力,能够自动化生成流畅的形变序列视频,为创作者提供直观的动态效果参考。但相较于传统方法,本系统最显著的创新在于突破了“仅输出渲染视频”的限制,进一步提出了“全时段三维资产导出”的生产范式。在该方案的设计逻辑下,系统不仅能产出用于展示的视频小样,更允许用户自由提取形变过程中任意时刻t(如t = 0.5)的完整三维资产(包含网格与纹理),并将其直接导入Maya或Blender等工业软件中进行二次编辑。这一功能设计具有明确的生产力导向:

(1)流程无缝衔接:对于不具备高端建模能力的小成本团队,该设计旨在免去耗时数天的人工拓扑与绑定工作。用户在确认视频小样效果后,可直接获取对应的工业级模型,实现从“动态预览”到“资产使用”的无缝转化;

(2)工具化转型:通过将高阶形变技术转化为“所见即所得”的资产生产工具,该框架揭示了AIGC深度赋能现有工业化工作流的可能性,为下一阶段讨论其对管线的重构奠定了技术基础。

6

三维形变生成技术对影视制作管线的赋能与重构

在奇幻与科幻题材的影视创作中,跨物种与异构物体的形态演变始终是构建视觉奇观的核心载体。然而,长期以来,受限于拓扑同胚约束与纹理映射难题,这类特效的制作往往陷入高人力成本、低迭代效率的工业困境。AIGC技术的介入正在打破这一僵局。通过融合语义感知与神经渲染,创作者如今仅需多视角图像乃至文本提示,即可生成兼具高保真几何结构与时空一致性的动态资产。这种技术范式的转移,不仅在底层算法上克服了传统插值带来的视觉伪影,更在应用层面上重塑了从现场预演到资产交付的全链路逻辑。本节将从虚拟摄制流程优化、创作门槛下沉、数字资产生产效能提升及视觉审美范式重构四个维度,深入剖析该技术对未来影视制作体系产生的系统性影响。

6.1 优化虚拟摄制与预演流程

虚拟摄制(Virtual Production)的核心挑战在于高保真动态资产的实时呈现[30]。传统形变技术因几何计算的不稳定性,常伴随模型撕裂或纹理缺失,难以满足现场拍摄的实时性需求。而新型三维形变生成技术通过引入拓扑引导机制,确保了物体变形过程中的结构连贯与视觉保真。其稳定性使复杂的动态形变能够被直接导入虚拟引擎进行实时预演(PreViz),导演与摄影师在拍摄现场即可“所见即所得”地调整灯光与运镜,消除了对后期合成效果的猜测,有效提升现场决策效率。

6.2 激发小成本影视制作活力

随着技术对输入数据要求的降低,高质量特效不再是头部大片的专属。AIGC技术展示了强大的泛化能力,即便是使用手机在非实验室环境下拍摄的普通物体,也能生成平滑形变效果。这为小成本剧组和独立动画人提供了巨大的创意杠杆。创作者无需购买昂贵的商业数字资产库,利用身边的实物素材即可构建出超现实的视觉奇观。这一技术的下沉,让复杂的视觉叙事,如物体拟人化变形或场景的演变,能够在有限预算下得以实现,极大地丰富了影视作品的艺术表现力。

6.3 提高动态资产生产效率

传统的生物或物体变形特效,通常需要昂贵的3D扫描设备以及大量人工进行拓扑重构与绑定。新的生成框架彻底重塑了这一管线,其允许直接使用简单的照片序列作为输入,自动建立源物体与目标物体之间的语义对应关系,无需预先定义复杂的几何映射或依赖大量人工标注数据。这种从“图像”直达“动态三维资产”的流程,极大地压缩了资产制作周期,相较于传统的三维重建方法,在提升重建精度的同时,显著缩短了计算时间。美术人员可从繁琐的模型修复中解放出来,快速迭代多种形态变换方案,使特效资产的生产更加工业化、标准化。

6.4 重构视觉语言:从“物理仿真”迈向“语义生成”的审美跃迁

当前的形变特效往往局限于对现实物理规律的复刻(如重力、流体动力学),这限制了视觉表达的想象力边界。未来的AIGC形变技术将打破这一桎梏,推动影视特效从“参数驱动”向“语义驱动”的范式跃迁。创作者将不再受限于调节复杂的物理参数,而是可通过自然语言描述,直接控制物体在潜空间内的演变轨迹。这种技术允许AI根据剧情的情感逻辑而非单纯的物理逻辑来生成形变,创造出诸如“情绪具象化变形”等传统CG难以实现的超现实视觉奇观。这不仅赋予了导演直接对话底层几何的权力,更将催生出一种全新的、基于神经联想的影视视觉语言,彻底重塑观众对真实与虚幻的认知边界。

7

结语

尽管近年来三维场景重建与渲染技术取得了显著进展,但其在复杂的物体形变特效制作中的应用仍面临诸多挑战,这些技术瓶颈在一定程度上限制了其在电影制作全流程中的普及与推广。例如,纯2D图像插值方法难以保证多视角下的几何一致性,而传统的3D几何方法则严重依赖昂贵的高精度扫描模型或预定义的拓扑对应,这使技术的实际应用门槛较高且灵活性受限。为应对这些挑战,本文提出的基于网格引导的语义感知三维高斯形变算法,通过引入显式网格作为拓扑支撑并结合语义对应机制,不仅成功解决了非结构化高斯点云在形变过程中的几何破碎与纹理失真问题,还允许用户仅凭多视角图像即可生成高保真的三维形变效果,进一步增强了系统的实用性和通用性。这一创新系统为影视制作中的物体形态演变特效提供了更高效、更便捷的解决方案。展望未来,随着AI驱动的三维生成技术的持续突破与创新,此类语义感知的形变生成技术将在影视制作领域释放更大潜能,显著提升特效资产的生产效率、降低制作成本,更能为影视视觉叙事开辟全新的表达维度(如超现实的跨拓扑物体演变)和创意空间,推动影视艺术形式的革新与突破。

参考文献

(向下滑动阅读)

[1]Gregory A,State A,Lin M C, et al. Feature⁃based surface decomposition for correspondence and morphing between polyhedra[C]//Proceedings Computer Animation'98,1998: 64⁃71.

[2]Zhang K, Zhou Y, Xu X, et al. DiffMorpher: Unleashing the capability of diffusion models for image morphing[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2024: 7912⁃7921.

[3] 杨琳.人工智能技术在数字媒体艺术中的应用分析[J].大观,2024(7):112⁃114.

[4]FAILES I. Over 30 years, WILLOW has morphed into an effects classic[J/OL]. VFX Voice, 2018⁃04⁃03. https://vfxvoice.com/over-30-years-willow-has-morphed-into-an-effects-classic/.

[5]Duncan J. A Once and Future War[J]. Cinefex, 1991(47): 4⁃59.

[6]Skweres M A. The real magic of 'Harry Potter and the Prisoner of Azkaban'[EB/OL]. (2004⁃06⁃24)[2026⁃01⁃14]. https://www.awn.com/vfxworld/real-magic-harry-potter-and-prisoner-azkaban.

[7]Banks C,Gabriele W,Dambros M,et al. From comic book to movie screen: achieving symbiosis between rigging and creature effects for Venom[C]//ACM SIGGRAPH 2019 Talks, 2019: 1⁃2. DOI:10.1145/3306307.3328209.

[8]Saindon E. Avatar:The Way of Water[C]//ACM SIGGRAPH 2023 Electronic Theater,2023:1.

[9]COLLIDER. Fire and Ash – How Cameron Reinvented Performance Capture Again[EB/OL]. (2025⁃12⁃19)[2026⁃01⁃14]. https://www.youtube.com/watch?v=ERH0jgyFgsk.

[10]陈传波,郑运平,姜正强.一种新的三维物体的渐变算法[J].计算机工程与科学,2006(12):69⁃71.

[11]Beier T, Neely S. Feature⁃based image metamorphosis[M]//Whitton M C, ed. Seminal graphics papers: pushing the boundaries, volume 2. New York: Association for Computing Machinery, 2023: 529⁃536.

[12]Liao J, Lima R S, Nehab D, et al. Automating image morphing using structural similarity on a halfway domain[J]. ACM Transactions on Graphics, 2014, 33(5): 1⁃12.

[13]Benamou J D, Carlier G, Cuturi M, et al. Iterative Bregman projections for regularized transportation problems[J]. SIAM Journal on Scientific Computing, 2015, 37(2).

[14]Solomon J, De Goes F, Peyré G, et al. Convolutional Wasserstein distances: efficient optimal transportation on geometric domains[J]. ACM Transactions on Graphics, 2015, 34(4): 66:1⁃66:11.

[15]Cao Y, Si C, Wang J, et al. FreeMorph: tuning⁃free generalized image morphing with diffusion model[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision,2025: 18111⁃18120.

[16]He Q, Wang J, Liu Z, et al. AID: attention interpolation of text⁃to⁃image diffusion[PP/OL]. (2024⁃03⁃26)[2026⁃09⁃21]. https://arxiv.org/abs/2403.17924.

[17]Brandt C, von Tycowicz C, Hildebrandt K. Geometric flows of curves in shape space for processing motion of deformable objects[J]. Computer Graphics Forum, 2016, 35(2): 295⁃305.

[18]Heeren B, Rumpf M, Wardetzky M, et al. Time⁃discrete geodesics in the space of shells[J]. Computer Graphics Forum, 2012, 31(5): 1755⁃1764.

[19]Sorkine O, Alexa M. As⁃rigid⁃as⁃possible surface modeling[C]//Proceedings of the Eurographics Symposium on Geometry Processing,2007: 109⁃116.

[20]Eisenberger M, Cremers D. Hamiltonian dynamics for real⁃world shape interpolation[C]//Computer Vision – ECCV 2020. Cham: Springer, 2020: 179⁃196.

[21]Eisenberger M, Novotny D, Kerchenbaum G, et al. NeuroMorph: unsupervised shape interpolation and correspondence in one go[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2021: 7473⁃7483.

[22]Cao D, Eisenberger M, El Amrani N, et al. Spectral meets spatial: harmonising 3D shape matching and interpolation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2024: 3658⁃3668.

[23]Tsai C J, Sun C, Chen H T. Multiview regenerative morphing with dual flows[C]//European Conference on Computer Vision. Cham: Springer, 2022: 492⁃509.

[24]Yang S, Lan Y, Chen H, et al. Textured 3D regenerative morphing with 3D diffusion prior[PP/OL]. (2025⁃02⁃20)[2026⁃09⁃21]. https://arxiv.org/abs/2502.14316.

[25]Kerbl B, Kopanas G, Leimkuehler T, et al. 3D Gaussian splatting for real⁃time radiance field rendering[J]. ACM Transactions on Graphics, 2023, 42(4): 1⁃14.

[26]Guédon A, Lepetit V. SuGaR: surface⁃aligned Gaussian splatting for efficient 3D mesh reconstruction and high⁃quality mesh rendering[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2024: 5354⁃5363.

[27]Guédon A, Lepetit V. Gaussian frosting: editable complex radiance fields with real⁃time rendering[C]//European Conference on Computer Vision. Cham: Springer, 2024: 413⁃430.

[28]Wang Y,Sun Y,Liu Z,et al. Dynamic graph CNN for learning on point clouds[J]. ACM Transactions on Graphics,2019,38(5).

[29]Li M, Bai Y, Chu Y, et al. GaussianMorphing: mesh⁃guided 3D Gaussians for semantic⁃aware object morphing[PP/OL]. (2025⁃10⁃02)[2026⁃09⁃21]. https://arxiv.org/abs/2510.02034.

[30]叶浩. XR/VP虚拟制作在广播电视领域的应用研究[J]. 电视技术,2025,49(10):58⁃60. DOI:10.16280/j.videoe.2025.10.016.

期刊导读 |《现代电影技术》2026年第10期

吴楠等:基于多智能体协同的影视短剧智能创作系统设计与应用研究

刘达等:从ECCV 2026国际顶会前瞻数智技术赋能中国电影产业创新升级

打开网易新闻 查看精彩图片