一段随手拍的街景视频，镜头在移动，行人在穿行，车也在开。要边拍边重建这个不断变化的三维场景，问题立刻浮现：未来画面还没到，怎么分清哪些变化来自相机移动、哪些来自物体运动？镜头一路向前，前一分钟重建的街道怎么和后一分钟看到的路口准确拼接？视频源源不断输入，系统又怎么避免重复计算、让重建跟得上拍摄速度？
这些问题指向在线 4D 重建的三个核心挑战：增量处理、跨时间的全局一致性，以及动态场景的高保真表达。在线系统只能利用已经到达的画面持续更新场景，既要准确重建局部几何，还必须保持相机轨迹、几何尺度和动态信息的一致性。
现有方法往往难以兼顾。基于逐场景优化的方法需要反复迭代更新场景参数，速度太慢；离线前馈方法通常联合处理有限帧，计算与显存开销随输入规模增长，难以扩展到长视频；许多前馈几何模型主要输出点云或深度，难以直接实现高保真渲染。
北京大学王选计算机研究所王勇涛团队、通视智能（VGI Labs）与 UC Merced 联合提出 DynStream，一个在线流式 4D 高斯前馈重建框架。输入未提供相机位姿的 RGB 在线视频流，模型前馈输出相机轨迹，以及持续更新、可用于渲染的动态场景表示。方法按时间分块处理视频，通过前馈推理完成局部重建，再将各块接入统一的世界坐标系，推理时无需重跑全部场景，也无需针对每个场景重新优化。
局部重建：先管好眼前这一块
输入可能是一段长达几分钟、横跨数千米的长视频，网络中 attention 层的计算开销会随输入帧数快速上升。DynStream 先把视频帧按时间顺序分成若干固定长度的块（chunk），对到来的视频帧，先通过在线网络在对应视频块内做前馈重建，重建出局部场景。
分块的好处在于，网络不必一开始就完成困难的长视频全局信息融合，而是先专注重建局部场景，再通过场景融合模块把局部场景聚合成一致的全局场景。
全局聚合：不额外算，也能对齐
不同视频块预测的局部场景之间存在一个 SIM(3) 的任意变换。前一段路和后一段路各自在自己的坐标系里都能正常渲染，放在一起就会明显错位。传统方法往往使用耗时的优化方法，利用重叠帧的点云对应关系估计 SIM(3) 变换。
DynStream 的做法不同：训练时将每个局部场景输出的相机位姿语义从绝对位姿预测改为相对位姿预测，输出每帧相机相对于当前块第一帧的位姿，再通过相邻视频块之间重叠的一帧关键帧，把局部场景变换到全局坐标系。为消除不同局部重建场景的尺度差异，网络额外为每一个局部场景预测一个正的尺度变换因子，将场景尺度统一映射到米制尺度，实现无需任何额外计算的全局场景聚合。
动静分离则落在高斯基元上。除重建场景高斯基元的基本参数，DynStream 为每一个高斯预测动态概率，按固定阈值区分动静态高斯：静态高斯逐步纳入全局场景，动态高斯保留在对应时间步，渲染时根据时间步选择对应的动态高斯与全局静态场景组合。
实验在 Waymo、SpatialVID 等涵盖室内外动静态场景的 5 个数据集上进行场景渲染指标评测，与 AnySplat、MVSplat、NeoVerse 等前馈场景重建方法对比，DynStream 在五个数据集的所有指标上均取得最优结果。定性实验中，车辆边缘、路面结构、动静态物体边缘的重建显著优于基线方法，动态部分的重影也得到有效抑制。
长程相机轨迹方面，论文在 KITTI 数据集总计 23201 帧、最长序列长度达 5km 的 11 个视频序列上评测。相较于现有 streaming 方法，DynStream 的 Sim(3) ATE 从数百米降低到 40m，多项指标达到最优，长序列中的相机轨迹重建能力明显更强。
论文第一作者和通讯作者均来自北京大学王选计算机研究所 VDIG（Visual Data Interpreting and Generation）实验室，第一作者为北京大学本科生先鼎巍，通讯作者为博士生导师、智源学者王勇涛副研究员。通视智能（VGI Labs）是该实验室团队孵化的新创科技企业。
热门跟贴