大家好,跟大家聊一篇非常有意思的新工作,它关于如何让我们生活中的那些可活动关节的物体(比如椅子、笔记本电脑、柜子等)在3D世界里“活”起来。
研究团队来自合肥工业大学、中科院、上海交通大学、字节跳动,提出了一个名为 REArtGS 的新框架。这个名字是 REconstructing Articulated 3D Gaussian Surfaces 的缩写,意在通过3D高斯溅射(3D Gaussian Splatting)技术,来重建和生成这些可活动物体的3D模型。
最酷的是什么呢?它仅仅需要一个物体的 任意两个状态 的多视角图片,就能高质量地重建出带纹理的3D表面,并且还能生成这个物体在其他任何未见过状态下的样子。
论文标题 :REArtGS: Reconstructing and Generating Articulated Objects via 3D Gaussian Splatting with Geometric and Motion Constraints (NeurIPS 2025)
作者团队: Di Wu, Liu Liu, Zhou Linli, Anran Huang, Liangtu Song, Qiaojun Yu, Qi Wu, Cewu Lu
机构: 中国科学院;中国科学技术大学;合肥工业大学;上海交通大学;字节跳动
论文地址: https://arxiv.org/abs/2503.06677
代码仓库(已开源):https://github.com/wd-ustc-cs/REArtGS
项目主页: https://sites.google.com/view/reartgs/home
研究背景:让静态的3DGS“动”起来
3D高斯溅射(3DGS)作为一项新兴技术,在静态场景的实时渲染上取得了惊人的效果,但要让它处理动态、尤其是可活动关节的物体,一直是个不小的挑战。
以前的方法,比如基于NeRF的方案,虽然能处理动态场景,但往往难以重建出高质量的带纹理表面,而且计算量巨大。而直接将3DGS用于可动物体,又会因为缺乏几何约束而导致模型表面出现各种瑕疵和伪影。
想象一下,要重建一把可以折叠的椅子,不仅需要知道它展开和折叠时的精确形状,还需要理解它的各个部件是如何连接和运动的。这对算法的要求非常高。而已有的方法要么需要密集的3D数据,要么需要整个运动过程的完整视频,这在现实应用中很难获取。
REArtGS:几何与运动双重约束下的高斯建模
为了解决这些痛点,REArtGS框架被提了出来。它的核心思路是在3D高斯基元的基础上,引入了额外的几何和运动约束。
整个流程可以分为两个核心步骤:
1. 带有无偏SDF引导的表面重建
首先,为了得到高质量的几何形状,作者们没有直接使用传统3DGS的透明度(opacity)来定义表面,而是引入了符号距离函数(Signed Distance Field, SDF)来指导高斯基元的学习。SDF可以更精确地表达一个点到物体表面的距离,从而形成更清晰、更平滑的物体表面。
但这里有一个“偏见”问题:高斯基元的中心点和它实际渲染贡献最大的点可能不一致。为了解决这个问题,作者提出了一种 无偏SDF正则化(unbiased SDF regularization) 方法。简单来说,它能确保当高斯基元的渲染贡献达到峰值时,其对应的空间位置正好落在SDF定义的物体表面上,从而大大提升了重建质量。
在获得了高质量的静态几何模型后,下一步就是让它“动”起来。研究者利用了可动物体的运动学结构(即关节的旋转或平移),为高斯基元建立了可变形场。
这个过程是无监督的,算法会自动学习物体的旋转关节(如椅子的转轴)或平移关节(如抽屉的滑轨)。通过对初始状态和结束状态的学习,模型就能推断出从一个状态到另一个状态的连续变化,并能泛化到任意中间状态。
实验效果:合成和真实世界数据双双告捷
为了验证REArtGS的实力,研究团队在合成数据集PartNet-Mobility和真实世界数据集AKB-48上进行了大量实验。
表面重建质量
在PartNet-Mobility数据集上,无论是从定量指标还是定性结果来看,REArtGS都表现出色。从下方的结果图可以看出,相比于之前的方法(如PARIS、GOF等),REArtGS重建的物体表面(无论是带纹理还是不带纹理)都更加平滑、完整,细节也更丰富。
下面的表格数据也证明了这一点。在Chamfer Distance (CD)、F1-score和EMD等多个评估表面质量的指标上,REArtGS都取得了 SOTA(State-of-the-art) 或接近SOTA的成绩。例如,在平均EMD指标上,REArtGS达到了 0.695,显著优于其他方法。
在生成未见过的物体状态方面,REArtGS同样展示了强大的能力。它可以流畅地生成物体从一个状态到另一个状态的连续动画。
定量结果显示,在所有评估指标的平均值上,REArtGS都取得了最佳表现,平均EMD达到了 0.670。这说明它不仅重建得好,还能精准地预测物体的动态变化。
在更具挑战性的真实世界数据集AKB-48上,REArtGS也取得了优异的成绩,证明了其强大的泛化能力。无论是剪刀、眼镜还是抽屉,它都能准确地重建和生成。
消融实验
为了证明各个模块的有效性,作者还进行了消融实验。结果表明,无论是“无偏SDF引导”还是“运动约束”,去掉任何一个都会导致性能显著下降。这充分说明了REArtGS设计的合理性。
总结
总的来说,REArtGS框架巧妙地将SDF的几何优势和运动学约束融入到3D高斯溅射中,成功地解决了从稀疏图像输入(仅两个状态)进行高质量可动物体三维重建和动态生成的难题。
CV君觉得,这项技术在虚拟现实、机器人操作、数字孪生等领域都有着巨大的应用潜力。想象一下,未来我们只需要用手机给家里的家具拍几张照片,就能在虚拟世界里得到一个可以交互的完美数字复制品,这将是多么令人兴奋的体验。
当然,作者也提到了一些局限性,比如目前方法依赖于已知的相机位姿,并且对透明材质的物体处理效果不佳。这些也为未来的研究指明了方向。
热门跟贴