打开网易新闻 查看精彩图片

本文刊发于《现代电影技术》2026年第7期

专家点评

陈 军

研究员

北京电影学院智能影像工程学院院长

影视虚拟摄制技术从“技术可行”到“工业可用”,其核心瓶颈是数字资产的供给效率与流通复用能力。传统影视数字资产制作生产模式受限于传统建模技术的低效与跨平台流转的格式壁垒,其已成为制约行业规模化应用的发展堵点。未来几年,影视数字资产制作生产将向以下三个方面发展:一是重建技术须兼顾写实精度与渲染速度,三维高斯波溅(3DGS)因其高保真效果与实时性能优势,有望成为工业化建模的主流路径,而四维高斯波溅(4DGS)将为动态三维数字资产提供最优解决方案;二是数字资产格式须打破各自为战的乱局,OpenUSD凭借分层组合与跨工具兼容性,正成为行业通用格式;三是人工智能(AI)驱动的语义检索与数字资产复用将彻底改变资产组织方式,使“一次制作、多项目复用”从工作设想转变为可量化的效益指标。在上述背景下,构建一套能够兼顾视觉真实感、生产效率与跨系统兼容性的数字资产管线,不仅是技术问题,更是我国影视工业自主化演进与智能化升级的战略问题。《面向影视虚拟摄制的高保真数字资产管线研究》一文以上影制作为业务依托,在昊浦基地构建了从多源融合采集、3DGS建模与质量评估到OpenUSD资产管理平台的全链路方案,并验证了AI检索与复用机制的有效性。论文逻辑清晰,数据翔实,为影视数字资产生产的自主工具链研发提供了技术示范,对影视数字资产库的标准化建设具有直接指导意义。

项目信息

上海市科学技术委员会 2025 年度关键技术研发计划“元宇宙”专项项目“面向虚拟现实电影的全流程数智化制播平台应用场景示范”(25511107400)。

作者简介

打开网易新闻 查看精彩图片

朱 君

大学本科,高级工程师,上海电影技术厂有限公司副总经理,主要研究方向:影视数字技术、影视后期制作技术、虚拟摄制与数字资产管理。

摘要

基于影视虚拟摄制对高保真、低延迟、可复用数字资产的迫切需求,针对传统建模方案在生产效率与跨平台流转方面的固有局限,本文以上影制作为业务主体、旗下上影昊浦智慧产业社区为工程实践平台,系统阐述了以三维高斯泼溅(3DGS)为核心建模方案、以OpenUSD为资产标准格式的影视数字资产生产与管理管线;解析了多源采集工作流设计、3DGS建模参数优化策略、基于OpenUSD的资产管理平台架构及AI驱动资产检索机制,并重点论证了“一次制作、多项目复用”策略的可行性。本文提出并初步验证了该管线在确保高保真渲染质量的前提下,可显著缩短资产生产周期并提升跨项目复用率,可为国内影视虚拟摄制的数字资产自主化、标准化生产提供可复制的实践路径。

关键词

三维高斯泼溅(3DGS);OpenUSD;虚拟摄制;资产复用

1

引言

近年来,虚拟摄制(Virtual Production)技术正深刻重塑影视内容生产方式。通过将数字虚拟场景与真实摄影机拍摄画面实时融合,虚拟摄制打破了传统从前期拍摄到后期特效的线性工作流,使导演、摄影师与视觉特效团队能在现场即时协同并作出决策[1]。然而,虚拟摄制对数字资产高保真、低延迟、可复用的核心诉求在现有技术体系下仍面临三重困境。

(1)以多视图立体重建(Multi⁃View Stereo, MVS)为代表的摄影测量方法,在处理高频细节纹理(如织物、树叶)或复杂光照环境时,几何重建精度难以达到影视近景镜头的使用标准;而人工建模方案虽精度可控,却面临周期长、成本高的规模化生产瓶颈[2]。

(2)神经辐射场(NeRF)在新视角合成质量上取得了显著突破[3],由于其本质上依赖密集的神经网络推理计算,在影视现场监看所要求的实时帧速率下难以满足性能需求,距更广泛的工程应用仍有差距。相关综述研究指出,NeRF高昂的重建成本与非实时渲染速度,是限制其在影视制作中应用的主要因素[4]。

(3)当前,各项目生产的数字资产普遍以私有格式存储,跨软件、跨项目调用面临格式转换、材质重制等高成本流程,资产的实际复用率偏低,严重制约了虚拟摄制模式规模化推广的经济可行性[5]。此外,现有研究表明,影视数字资产还面临数据量庞大、技术迭代快速导致的软件依赖风险、缺乏统一元数据规范等深层困境,并指出开放格式对资产长期保存与复用的关键作用[2]。

基于上述困境,本文所构建的技术管线以三维高斯泼溅(3D Gaussian Splatting, 3DGS)为核心建模方案,以OpenUSD为数字资产标准格式,通过构建“多源采集→3DGS建模→USDZ封装→AI检索复用”的完整链路,提出了一套面向影视生产的多源数据融合采集与3DGS差异化建模方案,针对道具类、外景地类与经典IP类资产分别制定了适配的建模策略与质量评估标准;设计并初步验证了基于OpenUSD的数字资产管理平台架构,打通了3DGS模型到USDZ格式的转化通路;探索了AI驱动下的数字资产检索与复用机制,为“一次制作、多项目复用”提供了可工程化的实现路径。

2

相关技术研究进展

2.1 3DGS技术原理及其影视适用性分析

2023年,Kerbl等[6]提出以显式三维高斯基元(Gaussian Primitive)的集合参数化表征三维场景,即三维高斯泼溅(3DGS)。每个高斯基元由空间均值(位置)、协方差矩阵(形状与朝向)、不透明度及球谐函数系数(视角相关颜色)等4类参数完整描述。在开展渲染任务时,系统对所有高斯基元按深度排序后投影至图像平面进行Alpha混合,通过对大量基元的GPU并行光栅化操作实现实时渲染帧速率[6]。

与主流方案相比,3DGS展现出显著的技术优势。在渲染速度方面,3DGS的显式表征特性使渲染无需神经网络推理,在相同硬件条件下可达NeRF渲染速度的1~2个数量级以上[6];在编辑灵活性方面,显式高斯基元可被直接选取、移动和修改,与影视数字资产迭代修改的工作流具有天然适配性,而NeRF的隐式场景表征在此方面存在本质局限;在存储格式方面,高斯基元的点集形式便于序列化存储,并可转化为多边形网格格式接入现有数字内容创作(DCC)软件流水线。在大规模场景方面,Kerbl等[7]进一步提出层级3DGS表示方案,通过将场景划分为多个层级块支持动态细节层次(LOD)模型加载,有效缓解了超大场景的显存压力,内存优化技术亦在持续推进[8]。Azzarelli等[9]提出的方案以不足2小时的训练时间与35 FPS的渲染帧速率,实现了对虚拟摄制场景的实时重光照能力,验证了3DGS在虚拟摄制环境下的工程可行性。

尽管如此,3DGS在影视应用中仍面临诸多挑战。现有研究指出,3DGS在训练效率、渲染速度和可编辑性方面具有显著优势,在大规模场景、室内外复杂环境等任务中展现出广阔的应用潜力[10],正推动实时高精度三维重建的工业化应用[11]。但其显存占用极高,编辑及光照技术尚不成熟[4]。具体而言,镜面反射、折射与次表面散射等复杂光学现象难以仅凭高斯基元精准重现;动态场景的时序一致性建模尚未成熟[12];此外,单场景3DGS模型通常需保留数量庞大的高斯基元,各属性以高精度浮点格式存储,容易达到数百MB的规模[13],对存储与传输效率构成压力。

2.2 OpenUSD规范在影视流程中的应用现状

OpenUSD(Open Universal Scene Description)由皮克斯动画工作室(Pixar Animation Studios)于2016年开源发布,其设计初衷即为解决大型影视工业链中多软件、多团队并发工作时数字资产互通的难题[14]。

皮克斯等国际动画工作室已将OpenUSD深度集成至相应影视制作流程中,实现了跨部门并发创作的版本管理与资产共享。2023年成立的OpenUSD联盟(Alliance for OpenUSD,AOUSD)[15],标志着这一制作规范向更广泛的行业生态加速演进;该联盟于2025年12月正式发布的OpenUSD Core Specification则进一步明确了规范路径[16]。USDZ格式作为面向实时渲染与增强现实/虚拟现实(AR/VR)应用优化的封装规范,已获得NVIDIA Omniverse等主流实时渲染平台的原生支持,具备成为影视数字资产跨平台流通通用格式的条件。

值得关注的是,AOUSD于2026年3月发布的OpenUSD v26.03版本引入了UsdVolParticleField模式家族,其中包括UsdVolParticleField 3D Gaussian Splat模式,即首个将3DGS数据作为USD“一等公民”原生支持的规范。该版本同时提供了将PLY格式高斯点云转换为USD的参考脚本以及名为HD Particle Field的参考渲染器,标志着3DGS正被主流数字资产语言体系吸纳进标准化轨道,也为本文所提管线中3DGS到USDZ的转化提供了官方的技术基础。

当前,国内影视行业在OpenUSD的落地应用上尚处于起步阶段。国内主流DCC软件对OpenUSD的兼容性参差不齐,跨软件资产流转中材质参数丢失、骨骼数据损耗等问题仍较为普遍,统一的行业级资产元数据标准尚未建立,这一差距也为本文所提管线提供了背景支撑。

3

面向影视生产的3DGS数字资产采集与建模

3.1 多源采集方案设计

高保真数字资产的生产起点是完整、精准的实景数据采集。上影制作在2024年6月上影昊浦智慧产业社区正式运营之际,于松江昊浦影视基地(简称“昊浦基地”)建立了以激光扫描仪、8K全画幅相机矩阵与无人机航拍为核心方式的多源融合采集方案。通过该工作流采集的三类数据各尽其用,共同构成覆盖宏观几何、表面纹理与大范围地形的完整采集链路。

3.1.1 激光扫描:高精度点云采集

激光扫描仪通过飞行时间(ToF)或相位差测距原理,以毫米级精度获取场景三维点云,承担宏观几何结构的精准测量任务。其核心优势在于对光照条件不敏感,并能在复杂光环境下稳定捕获结构信息。因此,激光扫描仪更适用于面向建筑外立面、室内空间(含遮挡区域)、大型道具等的精细几何结构扫描。对于传统摄影测量方案在遮挡区域容易产生几何空洞的场景,激光扫描可提供可靠的几何基础数据。

3.1.2 相机矩阵:高分辨率纹理采集

8K全画幅相机矩阵负责获取高分辨率纹理信息,弥补激光点云在色彩与表面细节表达方面的局限。8K全画幅传感器提供的高像素密度与宽动态范围,确保了纹理数据在3DGS训练阶段的充分有效信息量。

该相机矩阵以8K全画幅电影级摄影机为采集核心,搭载高品质定焦镜头,矩阵规模根据采集目标动态配置:道具级资产通常采用40~60台相机组成的矩形或半球形阵列,实现全周向无死角覆盖;大型场景则采用多机位移站拍摄策略。相机矩阵与激光点云的配准通过编码标定靶标与联合平差算法实现,即在采集现场布设不少于8个编码标志点作为空间基准,激光扫描与相机拍摄共用同一坐标系,经后处理软件自动完成点云与影像数据的空间对齐与纹理映射。

3.1.3 无人机航拍:大范围外景地采集

当前,基于无人机倾斜摄影的大规模实景三维建模已能满足影视级别的场景重建需求[17],DroneSplat等[18]专为无人机图像设计的鲁棒3DGS重建框架进一步提升了野外航拍数据的建模可靠性。

该方案采用五镜头倾斜摄影方案通过无人机航拍采集素材,飞行路径规划遵循“井”字形航线与环绕航线相结合的策略:首先按预设航高(通常为30~120米,视场景规模而定)执行正射与四向倾斜交叉航线,确保相邻航片重叠率不低于75%(航向)与65%(旁向);针对重点建筑物或标志性地物,额外执行环绕航线以补全立面纹理。数据质量控制方面,每次飞行前校准惯性测量单元(IMU)与全球导航卫星系统(GNSS)定位模块;飞行中实时监控姿态角与曝光参数;采集完成后通过快速空三解算检验影像连接点分布与重投影误差,重投影误差控制在0.5像素以内方判定为合格数据。

3.1.4 多源数据融合方案与质量验收标准

多源数据融合采用“激光点云定几何、影像数据附纹理”的分层融合策略:以激光扫描点云作为几何基准,通过迭代最近点(ICP)算法将多站激光数据进行全局配准;无人机倾斜摄影生成的密集点云与激光点云通过地面控制点进行联合平差,消除系统性偏移;8K相机影像经色彩校正与白平衡统一后,通过COLMAP恢复相机位姿,并与激光点云进行像素级纹理映射。研究表明,多源传感融合通过融合视觉、激光雷达与IMU数据,可有效提升3DGS资产重建的质量和鲁棒性[4]。

融合后的点云需满足以下质量验收标准:

(1)几何精度:控制点处误差不超过2 mm(道具级)或5 cm(外景地级);

(2)纹理分辨率:超高清影像纹理有效像素不低于4096×4096;

(3)点云完整性:模型表面无明显孔洞或噪声区域,缺失面积不超过总表面积的3%。

该工作流已完成经典IP道具的数字孪生采集、上海影视乐园标志性建筑立面的数字化存档,以及多个外景地的大范围航拍建模,累计完成高精度数字资产采集超过40项,为3DGS建模提供了充足的源数据储备。

3.2 3DGS建模流程与参数优化

3.2.1 初始点云预处理

融合点云在进入3DGS训练前需经历的预处理步骤主要包括:去除点云密度异常低的噪声点;控制点云密度在均匀水平,减少冗余计算;法向量估计。点云密度的最终控制目标则因场景类型而异,如精细道具类资产以保留细节为优先目标,因此降采样程度较低;而大范围外景地场景为控制显存占用,可适当提高降采样比例。

3.2.2 3DGS训练参数配置

以预处理后的稀疏点云作为高斯基元初始位置,通过最小化多视角渲染损失迭代优化所有高斯基元参数。训练过程中,系统自适应执行致密化与剪枝[6],以达到提升局部表达能力、控制模型规模的目的。

模型会根据输入图像的复杂度动态调整高斯基元数量,图像越复杂,产生的高斯基元越多,显存占用也相应增加。昊浦基地128卡算力中心采用分布式训练调度策略,单次训练任务可调度8~32张GPU并行,典型训练配置与高斯基元数量收敛范围如表1所示。

表1 数字资产训练配置

打开网易新闻 查看精彩图片

3.2.3 差异化建模策略

不同类型数字资产在建模目标与质量要求上存在显著差异,针对三类核心数字资产,我们制定了差异化的建模策略。

(1)高频细节数字资产(道具、服装、面部):提高高斯基元密度上限,适当延长训练迭代轮次,以确保细小纹理的保留精度;对金属、玻璃等反射材质,结合人工精修流程补充高光与反射细节。

(2)大范围场景数字资产(外景地):采用层级3DGS表示方案[7],将场景空间划分为多个重叠子块分别训练,再通过层级融合机制整合为统一模型,支持基于视距的动态LOD切换,有效控制实时渲染显存占用;

(3)经典IP数字资产:在采集数据的基础上,参照原画稿、设计图纸等历史美术设计资料进行人工精修,以数字孪生标准确保数字资产与原著设定的形态与色彩一致性,并经创作团队确认后方可入库。

3.2.4 模型质量评估标准

建模完成后,采用峰值信噪比(PSNR)、结构相似性(SSIM)指数与学习感知图像块相似度(LPIPS)三项常用指标对渲染质量进行量化评估。对于未达到质量阈值的局部区域,触发补充采集与局部重训练流程。该工作流在典型场景的实测过程中得到的质量指标见表2。

表2 典型场景的实测质量指标

打开网易新闻 查看精彩图片

作为参照,3DGS在公开数据集(如Mip⁃NeRF 360[13]等)上的典型指标为PSNR 27~32 dB、SSIM 0.78~0.85、LPIPS 0.20~0.25。道具类数字资产的PSNR达到38.5~42.0 dB,显著优于公开基准,这得益于多源融合采集提供的高质量输入数据以及针对影视级精度定制的训练参数优化。

3.3 数字资产分类体系与元数据规范

为支撑数字资产的高效检索、差异化生产调度与多项目复用,本文所提方案在入库环节即建立了一套分类、标注与分级三位一体的管理体系。在分类体系设计上,依据数字资产的应用场景、采集对象及复用模式将其划分为三个基本类型。其一为经典IP资产,特指源自上影集团历史经典影片中标志性角色、场景及道具的数字孪生模型,例如《大闹天宫》《葫芦兄弟》等IP相关的三维数字资产。此类数字资产以与原始美术设计的高度一致性为首要约束,精度要求居于所有类别之首,入库前须经创作团队专门验收确认。其二为外景地数字资产,以上海影视乐园及合作外景地为采集对象,覆盖街景、建筑群及自然地形等大范围三维场景,其建模侧重宏观结构的完整性与实时渲染性能的平衡,对局部细节的精度要求相对低于IP类数字资产。其三为道具数字资产,即面向具体拍摄需求采集的单体道具、服装及陈设品,强调细节保真度与材质真实感。该类数字资产复用频率最高,是本方案“一次制作、多项目复用”的核心受益对象,其标准化程度也最易于推广。

在元数据字段层面,每项资产入库时须标注多维度的描述信息,以支持后续人工智能(AI)语义检索与智能推荐引擎的运作。具体而言,元数据涵盖基础信息、技术参数、来源信息、版权与使用以及复用记录等五个类别。上述字段中,技术参数与复用记录直接服务于质量评估和推荐算法的计算,而版权与使用信息则为数字资产在跨项目合规调用时提供必要的法律依据。

在质量管理层面,该方案实施三级质量标准,以量化指标和主观验收相结合的方式区分数字资产的应用层级。A级精品数字资产的PSNR不低于38 dB,LPIPS不高于0.03,且高斯基元密度需充分满足细节还原要求,适用于电影级近景特写镜头,入库前须经技术厂专家评审。B级标准数字资产的PSNR不低于34 dB,LPIPS不高于0.06,适用于中景及远景镜头、电视剧集及预可视化阶段。C级快速数字资产的PSNR不低于30 dB,LPIPS不高于0.10,主要面向快速预演与大范围背景填充等低精度需求场景。不同级别数字资产对应差异化的制作工时与训练资源配置:A级数字资产的训练迭代轮次通常为B级的1.5至2倍,而C级数字资产则采用轻量化训练策略以压缩生产周期,从而在质量保障与成本控制之间形成弹性调节机制。

4

基于OpenUSD的数字资产管理平台

4.1 平台整体架构设计

上影联合NVIDIA Omniverse开发的OpenUSD数字资产管理平台以“格式标准化、流转无摩擦、复用可追溯”为核心设计原则,采用四层分层架构。

(1)数据采集层:对接激光扫描仪、8K相机矩阵、无人机航拍等多源采集设备,负责原始数据的统一接入、格式规范化与质量初检。该层通过标准化数据接口,将不同采集设备输出的点云、影像、位姿数据统一转换为平台可识别的中间格式(PLY/EXR/JSON),并完成数据完整性校验。

(2)资产生产层: 承载3DGS模型训练、质量评估与格式转化核心功能。该层调度128卡算力中心的GPU资源,执行从稀疏点云到高斯基元模型的训练迭代、质量指标计算(PSNR/SSIM/LPIPS),以及3DGS模型到USDZ格式的封装转化。生产层与数据采集层之间通过自动化数据管道衔接,采集数据完成质量验收后自动触发训练任务,训练完成后自动进入质量评估流程。

(3)资产管理层: 基于OpenUSD标准构建数字资产库,实现数字资产的统一存储、版本管理、元数据标注与检索。该层是平台的核心数据中枢,采用“资产主文件(USD)+ 多版本叠加层”的存储模式。基础资产以USD格式存储于中央库,各项目定制的修改版本以层(Layer)的形式叠加,不破坏原始资产。该设计参考了OpenUSD层合成允许多个创作者在不破坏基础资产的前提下叠加差异化修改[14]的核心思想。管理层同时集成AI驱动的数字资产检索与复用推荐引擎。

(4)应用服务层: 面向终端用户提供资产调用、实时渲染与跨平台分发服务。该层通过RESTful API与NVIDIA Omniverse等实时渲染平台对接,支持虚幻引擎(UE)、Maya、Houdini等主流DCC软件的直接调用。应用服务层还负责记录资产调用日志与复用数据,反馈至管理层以优化推荐算法。

4.2 3DGS模型到USDZ格式的转化规范

3DGS高斯椭球体模型与OpenUSD生态的格式兼容,是打通资产生产与资产管理两个环节的关键节点。由于3DGS的显式高斯基元表征与传统多边形网格存在本质差异,直接转化不可避免地引入视觉保真度损耗,需通过规范化流程加以控制。

转化技术路径分为两步:

(1)将训练完成的3DGS模型通过官方提供的脚本转化为USD格式。该脚本利用OpenUSD v26.03引入的UsdVolParticleField 3D Gaussian Splat模式,将高斯点云数据编码为USD原生粒子场类型。转化后的USD文件保留了完整的基元参数,可在支持该模式的渲染器中直接渲染。

(2)将USD文件通过USDZ打包工具封装为USDZ格式,遵循此类文件的标准层级组织规范,即顶层为场景根节点(Root Prim),依次向下组织几何体节点(Mesh Prim)、材质绑定(Material Binding)与纹理引用(Texture References);对于包含动画的资产,骨骼与变形数据按USD SkelRoot规范封装,确保跨平台读取时动画数据完整性。

随着3DGS到Mesh转化算法的持续成熟,未来我们将进一步提升转化流程的自动化程度与精度保真性,降低人工介入比例。

4.3 AI驱动的资产检索与匹配机制

全工作流的AI资产检索机制基于多模态特征融合实现从“关键词搜索”到“场景描述搜索”的升级。刘笑微[19]认为,AI有望成为虚拟摄制的柔性协同中间层和粘合剂,生成模型有望借助语义检索和自动标签体系,依据光照、尺度、反射率等参数对海量素材进行动态排列。具体技术路径包括以下三方面内容:

(1)视觉特征提取:对每项入库数字资产的多视角渲染图提取深度视觉特征(采用ResNet⁃50/ViT等骨干网络[20]),构建高维特征向量索引库。检索时,用户上传参考图或场景草图,系统通过特征相似度匹配返回视觉上最接近的候选资产。

(2)语义特征融合:结合数字资产的文本元数据,通过CLIP等多模态模型将文本与图像映射至同一语义空间,支持“一个废弃的工业厂房内景”“带有欧式雕花的木质道具”等自然语言描述检索。

(3)复用推荐算法:基于历史复用记录构建数字资产项目-场景的协同过滤图谱。当新项目录入场景需求时,系统自动检索与该场景视觉相似度最高且历史复用率最高的资产,并给出复用建议与预估适配度评分。推荐算法综合考虑三项权重:视觉相似度(40%)、历史复用成功率(35%)、元数据标签匹配度(25%)。

4.4 “一次制作、多项目复用”的工程实现

数字资产复用的技术前提可从三个相互关联的层面加以界定。在格式标准化方面,所有数字资产均以OpenUSD或USDZ作为统一存储格式,此举旨在确保资产在不同DCC软件及渲染器间具备一致的可读性与交换能力,从而消除因格式异构导致的流通障碍。在参数可调性方面,资产在建模阶段即需保留关键可调参数,包括但不限于LOD等级、材质替换接口等,以便在复用过程中能够根据具体项目的视觉需求与性能约束进行差异化适配,避免重复建模或返工。在版本管理方面,依托USD层合成机制对每次复用所产生的修改记录进行系统化留存,确保任意历史版本均可准确定位与回溯,为资产的长期维护与多项目并行复用提供可靠的技术保障。

跨项目数字资产复用的推广方案为“资产集+项目订阅”模式:各制作项目按需从平台资产库中订阅数字资产,订阅后获得该数字资产的使用授权与当前版本的完整副本;项目对数字资产的定制修改以USD叠加层的形式独立保存,不污染原始数字资产;项目完成后,经评估具有通用价值的定制版本可反向贡献至平台资产库,经审核后纳入标准数字资产目录,供后续项目复用。数字资产所具备的可继承性与可迭代性,使创作人员无需对原有资产推倒重建,可直接基于既有元数据进行动态调整与版本优化[21],从而实现了“使用-反馈-沉淀-再复用”的正向循环。

截至目前,该平台已实现数字资产复用的项目包括:多部AIGC微短剧(资产复用率达40%~60%)、多个虚拟摄制测试项目及商业化广告制作项目。累计复用次数超过120次,单资产最高复用次数达12次。资产复用使单项目数字资产制作周期平均缩短35%~50%,显著降低了虚拟摄制的边际成本。

5

典型资产制作案例

近期,我们对上海影视乐园南京路200米内范围进行了3DGS建模,计划将其纳入B级标准的虚拟摄制背景场景资产,量化分析如表3所示。

表3 上海影视乐园南京路街区3DGS建模量化分析

打开网易新闻 查看精彩图片

该资产已被3个以上的虚拟拍摄测试项目调用,实时渲染帧速率在NVIDIA GeForce RTX 4090上达到45~60 FPS(视LOD等级而定),视觉合成质量经主观评估达到与实拍素材无缝融合的标准见表4。

表4 A级道具资产跨项目复用成本效益量化分析

打开网易新闻 查看精彩图片

在虚拟合成端的性能表现方面,USDZ格式资产在UE中的加载时间平均为1.5~4.0秒(视资产规模而定),实时渲染稳定性良好,连续渲染4小时未出现显存泄漏或帧速率跌落。与传统计算机图形学(CG)手工建模资产相比,3DGS资产的视觉真实感显著优于传统方案(尤其在复杂光照和反射表面方面),而渲染性能与传统低多边形资产相当,资产制作周期则缩短了60%~75%。

6

结语

本文以上海电影(集团)有限公司旗下上影制作为业务主体,以其所属昊浦基地为工程实践平台,围绕以3DGS为核心建模方案、以OpenUSD为资产标准格式的影视数字资产生产与管理管线,进行了系统性的梳理与论证。从技术实践的角度来看,本文的核心贡献主要体现在三个层面。在数据采集端,本文建立了一套融合激光扫描、8K相机矩阵与无人机航拍的多源融合采集方案,并配套制定了相应的质量验收标准,从而为3DGS影视级建模提供了具备可复用性的数据生产规范。在建模端,本文针对道具类、外景地类与经典IP类等不同资产类型,分别制定了差异化的建模策略与三级质量分级标准,并给出了典型场景下的训练参数配置与关键质量指标参考,使建模流程具备了更高的可控性与可解释性。在管理端,本文设计并初步验证了基于OpenUSD的四层资产管理平台架构,打通了从3DGS原始成果到USDZ标准格式的转化通路,同时借助AI驱动的语义检索与复用推荐机制,实现了“一次制作、多项目复用”的工程化落地目标,至投稿时累计资产复用次数已超过150次。

尽管上述方案已在多个实际项目中得到初步验证,但就其现阶段的能力边界而言,仍存在若干不可忽视的局限。在建模精度方面,当前3DGS技术对于镜面反射、折射及半透明材质的光学特性表达尚不够精准,涉及金属、玻璃等材质的资产仍难以完全脱离人工精修环节。在动态场景处理上,四维高斯泼溅(4DGS)的时序一致性建模目前整体上仍处于探索阶段,正如已有研究指出,动态场景的高斯建模正逐步从简单的时间内插与刚性偏移,发展为更复杂的时空联合建模[12],而当前管线仅能有效支撑静态数字资产的采集与后续复用,对动态人物与可变形物体的覆盖尚属空白。在资产规模层面,当前入库资产总数约为两百余项,相较于支撑大规模虚拟摄制生产的实际需求仍存在显著差距。此外,OpenUSD作为新兴的通用资产交换格式,在国内影视行业的整体生态尚未完全成熟,主流DCC软件对USDZ格式的兼容性与数据保真度仍需在长期生产实践中持续验证与迭代优化。

针对上述不足,后续我们将从以下方向协同推进。在技术纵深上,计划联合高校与科研机构共同攻关动态场景下的4DGS建模方法,逐步将现有管线的覆盖范围从静态资产延伸至动态人物表演与复杂场景实时捕捉。在标准建设上,将积极与国际、国内相关行业组织开展紧密协作,参与影视数字资产元数据规范的起草与研讨,力求推动形成适应国内制作流程的标准体系。在数字资产库容量扩充上,明确规划在未来两年内将入库数字资产总量提升至一千项以上,重点覆盖更多具有高复用价值的经典IP元素与典型外景地类型。在工具链生态上,拟联合NVIDIA、Autodesk等关键技术伙伴,进一步深化平台与Omniverse、Maya等主流创作工具的原生集成,持续提升数字资产在不同制作环节间的流转效率。与此同时,还将探索引入生成式AI技术以实现资产模型的自动补全与材质细节的智能增强,从而在保证质量的前提下有效降低高精度资产的生产门槛,为影视虚拟摄制的规模化落地提供更为坚实的技术底座。

参考文献

(向下滑动阅读)

[1] Kadner N. The Virtual Production Field Guide v1.3[EB/OL].[2026⁃07⁃02]. https://www.unrealengine.com/en-US/vpfieldguide.

[2] Samaras E. Futureproofing Visual Effects: Challenges and Strategies for Preserving Digital Assets and Records[J]. International Journal of Digital Curation, 2021,16(1):15. DOI:10.2218/ijdc.v16i1.689.

[3] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J]. Communications of the ACM. 2021,65(1):99⁃106.

[4] 陈军, 卢柏宏, 黄子津, 等. 影视数字资产的智能构建:基于Multi⁃SLAM+3DGS技术的三维数字重建方案研究[J]. 现代电影技术, 2026(3):1⁃10.

[5] Willment N, Swords J, Thomas B. The Evolution of Virtual Production: Issues and Opportunities[R/OL]. [2026⁃07⁃02]. https://xrstories.co.uk/wp-content/uploads/2023/11/The-Evolution-of-Virtual-Production_final.pdf.

[6] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian Splatting for Real⁃Time Radiance Field Rendering[PP/OL]. (2023⁃08⁃08)[2026⁃07⁃05].https://arxiv.org/abs/2308.04079.

[7] Kerbl B, Meuleman A, Kopanas G, et al. A Hierarchical 3D Gaussian Representation for Real⁃Time Rendering of Very Large Datasets[PP/OL]. (2024⁃06⁃17)[2026⁃06⁃07].https://arxiv.org/abs/2406.12080v1.

[8] Papantonakis P, Kopanas G, Kerbl B, et al. Reducing the Memory Footprint of 3D Gaussian Splatting[C]//Proceedings of the ACM on Computer Graphics and Interactive Techniques, 2024,7(1):1⁃17.

[9] Azzarelli A, Anantrasirichai N, Pollock J, et al. Relightable Gaussian Splatting for Virtual Production Using Image⁃Based Lighting[PP/OL]. (2026⁃05⁃09)[2026⁃07⁃02]. https://arxiv.org/pdf/2605.09024.

[10] 李洪安, 杨嘉乐, 刘庆芳, 等. 基于高斯泼溅的复杂场景重建研究现状与展望[J]. 系统仿真学报, 2026,38(6):1535⁃1566.

[11] 陶学恺, 王嘉乐. 技术降本与创作增效:AI驱动下的虚拟摄制技术研究[J]. 现代电影技术, 2025(5):4⁃8.

[12] 连振晗, 王章野, 牛炯, 等. 基于三维高斯泼溅的动态场景重建研究综述[J]. 计算机辅助设计与图形学学报, 2026,38(1):61⁃77.

[13] 闫科, 王慧, 李祝鑫, 等. 面向计算资源受限的属性感知三维高斯溅射压缩方法[J/OL]. 激光与光电子学进展, 2026. https://link.cnki.net/urlid/31.1690.TN.20260622.1324.024.

[14] Pixar Animation Studios. Universal Scene Description (OpenUSD)[EB/OL].[2026⁃07⁃02]. https://www.pixar.com/openusd.

[15] jdf. Pixar, Adobe, Apple, Autodesk, and NVIDIA Form Alliance for OpenUSD to Drive Open Standards for 3D Content[EB/OL].(2023⁃08⁃01)[2026⁃07⁃02].https://jointdevelopment.org/announcement/2023/08/01/pixar-adobe-apple-auto

desk-and-nvidia-form-alliance-for-openusd-to-drive-open-standards-for-3d-co

ntent/.

[16]Alliance for OpenUSD (AOUSD). USD Core Specification v1.0.1[EB/OL]. (2025⁃12⁃12)[2026⁃07⁃02]. https://drive.google.com/file/u/0/d/1lh-28b4mN37WrH2zVM5d0YQ2gZtS8wNO/view?pli=1.

[17] Wang R, Zhang Y. Research on Real⁃Scene 3D Modeling of Geoinformation Based on UAV Oblique Photogrammetry Data[C]// Proceedings of the 2025 3rd International Conference on Mathematics and Machine Learning,2025:405⁃412.

[18] Tang J, Gao Y, Yang D, et al. DroneSplat: 3D Gaussian Splatting for Robust 3D Reconstruction from In⁃the⁃Wild Drone Imagery[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2025:833⁃843.

[19] 刘笑微, 张月, 侯岚天. 人工智能驱动下的电影虚拟摄制:技术融合与流程重构[J]. 现代电影技术, 2026(4):26⁃33.

[20] Zhang R, Isola P, Efros A A, et al. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2018: 586⁃595.

[21] 李炼. 虚拟摄制技术范式变革及影视工业流程再造研究[J]. 现代电影技术, 2026(2):7⁃10.

期刊导读 |《现代电影技术》2026年第7期

黄东晋等:面向电影前期视觉开发的图像智能生成框架研究

王雷等:基于三维高斯泼溅的立体电影制作技术质量评价框架与SHARP模型适应性研究

打开网易新闻 查看精彩图片