物理AI突破3D世界弱网传输瓶颈,江行智能 CAGS 实现高保真实时三维空间流

刷视频时网络卡顿,播放器会降清晰度——画面“糊”一点,总比卡在原地强。

但如果把场景换成一个可自由探索的3D世界呢?用户看到的不是固定机位的2D画面,而是一个可以转头、移动、靠近观察的立体环境;服务端不仅要判断网络状况,还要预测用户下一秒会看向哪里。

机器人远程接管、工业巡检、实时数字孪生、生态监测——这些场景都依赖一种能力:把远端真实世界变成低延迟、高保真、可交互的3D世界流。

但这里有一个“不可能三角”:画面要保真,数据量就小不了;工业现场网络常常不稳定,数据量大就传不动;要想在弱网下传得动,就得狠压数据、牺牲画质,而远程操作所要求的低延迟,还在进一步压缩腾挪的余地。

顾住任何一头,另外两头就要付出代价。

近日,江行智能参与的联合研究成果CAGS(Color-Adaptive Volumetric Video Streaming with Dynamic 3D Gaussian Splatting)被计算机图形学顶级会议 SIGGRAPH 2026 收录。论文针对远程临场、生态监测、机器人远程操作等实时三维物理环境接入场景,提出了一套面向动态3D高斯喷溅(3DGS)的颜色自适应体积视频流系统。

在波动带宽下,CAGS相比已有自适应流媒体系统取得5–20 dB的PSNR提升,且解码速度远超现有可扩展高斯压缩方法。

#1一个“不起眼”但致命的问题

过去几年,3D Gaussian Splatting(3DGS)解决了如何高质量、实时渲染3D世界。但当3DGS从本地渲染走向在线传输,瓶颈变了——服务端不只是渲染场景,还需要把不断变化的3D表示传给用户;用户端也不是只接收一帧图像,而是要在自己的视角下实时解码和渲染。

传统自适应流媒体靠删除部分高斯(密度型LoD)来降低码率。但每个高斯同时承载局部几何、颜色、透明度和视角相关外观——删得太狠,场景结构可能直接“断掉”。低码率下,密度型LoD会引入可见空洞和严重质量退化。

CAGS论文发现了一个关键规律:用向量量化(VQ)压缩高斯属性时,结构基本保留,但颜色容易失真。而颜色失真可以通过一张低分辨率参考图在渲染后的图像空间修正。

策略可以提炼为一句话:先保住结构,再把颜色救回来。

#2面向物理 AI 场景:江行智能的三重技术解法

作为一家专注于物理AI的科技公司,江行智能的科研团队将这一洞察转化为一套多媒体-网络-图形学深度融合的系统。

第一重:可扩展向量量化(SVQ)

将高斯属性组织成基础层和增强层。基础层保证低码率下可播,带宽允许时逐步叠加增强层,补回质量。CAGS的SVQ在解码延迟上比现有可扩展压缩方法低数百倍,极为适合实时流媒体场景。

第二重:后渲染视角对齐(PRPA)

服务端根据预测视角提前渲染低分辨率参考图,但用户实际视角可能偏移。PRPA利用客户端本地渲染的深度图,将参考图重投影到真实视角,再通过误差腐蚀消除遮挡伪影,使颜色恢复始终准确。

第三重:自适应视野(Adaptive FoV)

预测误差可能导致参考图覆盖不足。CAGS借助轻量LSTM模型,动态调整参考图视野范围——预测不准时扩大视野保证覆盖,预测准确时缩小视野提高像素密度。

打开网易新闻 查看精彩图片

#3物理 AI 时代基础设施革新:从Video Streaming到World Streaming

移动互联网时代,视频流成为最重要的信息基础设施之一。YouTube、Netflix、抖音、快手背后,本质上都依赖一层成熟的Video Streaming Layer:视频可以被编码、压缩、传输、缓存、播放,并根据网络条件自动调整质量。

具身智能需要一层类似的东西,只是传输对象从二维画面换成了真实物理空间。

机器人远程接管、工业巡检、实时数字孪生、世界模型训练——背后是同一个需求:把远端真实世界变成低延迟、高保真、可交互、可学习的3D世界流。

物理AI时代需要一种新的基础设施层:World Streaming Layer

这一层今天还没有现成的标准方案,而具身智能、实时数字孪生和机器人远程操作,正在一个接一个撞上它。它的核心问题是:在真实而不稳定的网络条件下,自适应地传输高保真的动态三维场景。

CAGS把这个问题落到了一个可研究、可实验、可度量的系统上。它把动态3DGS从渲染表示推进到网络传输和系统部署层面:3DGS负责把世界表示出来,CAGS负责让这个世界在真实网络中流动起来。

#4从弱网到强网:始终保持稳定画质

CAGS在多种数据集上进行测试,覆盖人体动作、日常操作、手术场景等。在固定带宽下,PSNR、SSIM指标全面优于现有系统。在真实5G网络波动下,逐帧画质更平稳,避免了剧烈质量抖动——稳定性本身就是画质的一部分

更重要的是,CAGS不依赖于特定的动态3DGS预处理方法,可兼容Dynamic 3DGS、4DGS、HiCoM等多种主流方案。这意味着江行智能的技术可以快速适配不断进化的3D世界表示。

#5物理 AI 技术落地闭环,从前沿论文到确定性生产力

过去,AI主要处理语言、图像和视频。下一阶段,AI要进入真实空间、真实设备、真实任务和真实生产系统。

当机器人部署规模扩大,真实世界数据、远程接管、现场复盘和实时数字孪生都会从可选能力变成基础需求。二维视频无法承载这种需求,原始三维数据又难以在真实网络中稳定传输。因此,在具身智能的软件栈中,一层新的空间流媒体基础设施正在变得不可回避。

CAGS就处在这个位置上。它在动态3DGS体积视频流这个具体切口上,验证了一种可行的底层机制:低码率下先保住空间结构,再用轻量参考信号恢复颜色,让动态三维场景在波动网络中保持可用。

5–20 dB的PSNR提升证明了它在波动带宽下的系统有效性;更重要的是,它把动态3DGS从“高保真渲染技术”,往“真实网络中的世界流媒体系统”推进了一步。

未来,江行智能将持续围绕世界模型、空间智能、边缘基础设施与具身执行闭环开展前沿探索,推动AI从“理解真实世界”进一步走向“接入真实世界、操作真实世界、优化真实世界”。

相关研究

CAGS: Color-Adaptive Volumetric Video Streaming with Dynamic 3D Gaussian Splatting. SIGGRAPH 2026 Conference Paper.