NeurIPS 2024 | 单张照片也能重建3D模型？「隐形斗篷」守护你的版权|点云|版权|视图|隐形斗篷

单视图3D重建方法如Triplane Gaussian Splatting (TGS) 只需单张图像输入即可在几秒钟内生成高质量的3D模型。然而，这种能力引发了潜在的滥用担忧，恶意用户可能会利用TGS从受版权保护的图像中创建未经授权的3D模型。

为了防止此类侵权行为，我们提出了一种新颖的图像保护方法，在图像中嵌入不可见的几何扰动，称为“geometry cloak”，然后再将其提供给TGS。这些精心设计的扰动编码了一个定制的信息，当TGS尝试对被保护的图像进行3D重建时，该信息会被揭示。与传统的对抗攻击只是简单地降低输出质量不同，我们的方法迫使TGS以特定方式失败3D重建——生成一个可识别的图案作为水印。这个水印允许版权持有者对任何试图从受保护图像进行3D重建的行为主张所有权。

论文题目： Geometry Cloak: Preventing TGS-based 3D Reconstruction from Copyrighted Images 论文链接： https://arxiv.org/abs/2410.22705 项目主页： https://qsong2001.github.io/geometry_cloak/

一、背景和动机

随着3D资产的重要性日益增加，研究人员提出了从单幅2D图像重建或生成3D模型的方法。结合张量辐射场（Tensorial Radiance Fields）和3D高斯泼溅（3D Gaussian Splatting），TGS为从单视图图像生成3D模型提供了有效的新方法。然而，恶意用户可能会利用TGS在未经授权的情况下从单视图图像生成3D模型，这对图像版权拥有者的权益构成威胁。因此，图像拥有者亟需采取有效措施，以保护其受版权保护的图像不被TGS滥用。

图1 ：(a) 无保护的图像。这些图像可以被恶意用户通过TGS轻松重建为3D模型，威胁到图像所有者的版权; (b) 数字水印通过在3D重建前将版权信息嵌入到视图图像中提供了一种解决方案。然而，嵌入的信息无法从新渲染的视图中提取; (c) Geometry Cloak。Geometry Cloak利用TGS重建过程中的易受干扰的几何特征，实现视图特定的水印嵌入。我们的方法可以破坏未经授权的重建3D，同时提供可验证的水印以进行版权声明

为了防止通过TGS对受版权保护的图像进行未经授权的3D重建，本文提出了一种新颖的方法，即在输入图像上添加对抗扰动。这种方法利用3DGS重建过程中显式的点云特征易受扰动的特性，通过几何伪装（geometry cloak）来实现对版权图像的保护。通过优化重建结果与版权图片之间的距离，我们可以使TGS生成具有特定样式的结果。这一方法不仅可以有效阻止未经授权的3D生成，还能留下可验证的版权模式，进而帮助图像拥有者在声明其版权。

二、方法

我们提出如图2所示的解决方案。通过优化对抗扰动Geometry Cloak来影响TGS的3D重建过程。TGS 的核心表示包括显式的点云和隐式的基于Triplane的特征场。新视图图像的特征通过点云中的坐标提取。为了控制重建的结果，我们设计了Pre-defined pattern来作为作者声明的版权。同时，我们设计了一个基于视角的梯度下降（View-specific PGD）来迭代优化对抗扰动 (Geometry cloak)，使重建的3D点云其与Pre-defined Pattern具有一致的特征。

图2：方法整体架构

Pre-defined pattern: 如下图所示，我们设计了两种Pattern模式作为目标点云。（1）我们将字母数字字符直接转换为2D点云作为水印。(2)在步骤E1中，我们首先提取需要保护的图像的点云。在步骤E2中，我们通过文本引导的方法（如instructP2P）或开源软件MeshLab编辑获得的点云。两种Pattern模式都可以作为诱导重建结果优化的目标。

图3：两种目标Pattern

View-specific PGD: 为了有效控制3D重建结果，使其显现出可辨别的Patterns。我们提出了一种基于特定视角的梯度下降方法。如下图所示，我们优化不可见的扰动，将获取到的3D Point cloud 投影到指定的视角 (xy), 并计算投影后的点云与目标点云Pre-defined Pattern之间的Chamfer Distance来优化对抗扰动。在优化迭代后，3D重建的结果会在该视角下展现出对印的Pattern，实现版权的声明。

图4：基于特定视角的梯度下降（View-specific PGD）
三、主要实验结果

如图五所示，与高斯噪声和在图片特征上加对抗扰动相比，我们的方法能有效的影响重建的3D模型。我们在图6中进一步展示了我们的方法的结果，使重建结果显现出可辨别的Patterns。

图5：不同扰动策略下的重建结果

图6：两种目标Patterns下的重建结果
四、总结与展望

我们提出了一种创新的图片保护方法，旨在防止未经授权的三维重建侵犯图像版权。通过在几何特征空间中嵌入精心优化的带有版权信息的扰动，我们的方法能够迫使生成的三维模型包含水印特征。实验验证了我们对几何特征进行显式扰动的策略，证明这种方法可以通过人眼不可见的扰动有效干扰重建过程。这种新颖的方法为从单视图到三维模型提供了有效的版权保护手段。