CVPR 2024 | 3D开放世界场景感知理解新SOTA|cvpr|点云|算法|视频生成模型

场景级别的 3D 开放世界感知一直是一个饱受关注的问题，是具身智能和机器人领域非常重要的一个能力。

在模型测试阶段，如果能够对于任意指定的类别进行语义和物体级别的分割，就能够帮助非常多下游的应用。

最近，来自香港大学和商汤科技的研究团队，提出了一种直接结合点云和自然语言的新开放世界理解算法 RegionPLC(RegionPLC 能够在未训练过的类别上都得到很好的分割结果）。

而且无需额外训练，RegionPLC 就可以和大语言模型如 GPT4 结合进行一些场景级别的开放问答，并借助 RegionPLC 的 grounding 能力分割出相应的类别，相应的和大语言模型结合的版本，被称之为 RegionGR 。

论文题目： RegionPLC: Regional Point-Language Contrastive Learning for Open-World 3D Scene Understanding 论文链接： https://arxiv.org/abs/2304.00962 代码链接： https://github.com/CVMI-Lab/PLA 项目主页： https://jihanyang.github.io/projects/RegionPLC

一、RegionPLC具体算法

RegionPLC 在前作 PLA 的基础上，扩展到了更细粒度的区域级别点云和语言的结合，能够生成更密集和细粒度的描述。

如下图，RegionPLC 会利用不同的 2D VLM 生成对于图片的区域级别描述，包括 2D 开放语言目标检测器、滑动窗口 +2D captioning 模型，以及 2D dense captioning 模型。

在得到各种 2D 大模型给出的文本描述后，RegionPLC 通过点云和图片的投影关系，文本和点云直接关联起来。为了具体了解不同 2D 大模型的能力区别，RegionPLC 构建了一个 benchmark 直接比较它们的性能差异：

1.1 SFusion

研究人员发现不同模型能够在不同的实验设置下取得最好性能，这意味着每种模型有自己独特的优势，而且直接在数据和 loss 方面进行混合的效果并不好。

因此，研究人员设计了一种基于互补的数据混合策略 SFusion。这种混合策略只会混合在 3D 空间中互补的 3D-text pairs，因此减少了不同模型产生的 3D-text pairs 在优化时产生冲突的概率。这样的设计使得 RegionPLC 可以结合不同 2D 大模型的优势，从而达到更好的性能。

1.2 Region-aware PDC Loss

除此之外，研究人员针对 3D 开放世界理解的任务特特性，设计了一个新的优化函数-- Region-aware PDC Loss，这种损失函数能够尽可能隔绝不相关点云的影响，而且让每个 3D-text pair 的对最终梯度的贡献接近。

因此，相比于应用于 PLA 的 CLIP contrastive loss，这种新的优化函数能够极大地提升性能，特别是对于 dense prediction 任务，比如语义及实例分割。

二、实验性能

RegionPLC 在多个室内室外数据集 ScanNet、ScanNet200、nuScenes 进行了大量的实验，都取得了很好的效果，远超之前的 SOTA 算法 PLA。

充分的消融实验也证明了其设计模块的有效。

三、结论

我们提出了 RegionPLC，一个综合的区域点云-语言对比学习框架，用于识别和定位开放世界 3D 场景理解中的未知类别。通过利用先进的视觉语言模型和我们的 SFusion 策略，RegionPLC 有效地构建了全面的区域点云-语言对。此外，我们的区域感知点云-语言对比损失有助于从区域性描述中学习出具有独特性和鲁棒性的特征。

大量实验证明，RegionPLC 在室内和室外场景中明显优于先前的开放世界方法，并在具有挑战性的长尾或无注释场景中表现出色。