三维高斯泼溅(3D Gaussian Splatting, 3DGS)是一种创建高保真三维资产的强大技术。然而,3DGS模型在数字平台上的广泛共享和迭代修改给知识产权保护和溯源取证带来了严峻挑战。为了解决这一问题,我们提出了GaussTrace,一种用于构建3DGS模型有向溯源图的新型框架。GaussTrace将溯源分析建模为一个基于证据的推理问题。其基于对3DGS参数的属性级统计分析来捕捉其内在特性。

此外,我们引入了基于假设的常见操作编辑模拟,为可能的转换路径提供辅助证据。这些统计和模拟线索共同作用,使大语言模型(Large Language Model, LLM)能够执行结构化的思维链(Chain-of-Thought, CoT)推理,从而得出有向溯源推断和可解释的原因。实验结果表明,GaussTrace 能够有效地构建不同 3DGS 模型之间的演化关系,提供准确、可解释且鲁棒的溯源图,而无需模型训练或访问编辑历史记录。

打开网易新闻 查看精彩图片

论文标题: GaussTrace: Provenance Analysis of 3D Gaussian Splatting Models with Evidence-based LLM Reasoning 论文链接: https://arxiv.org/abs/2606.10612
一、背景与动机

近年来,三维高斯泼溅 (3DGS)模型在商业和协作工作流程中得到越来越广泛的应用。这种广泛的应用使得确保这些模型在多方分发中的可追溯性至关重要。为了解决这个问题,我们开发了一种新的框架,用于追踪具有多个修改历史的 3DGS 模型之间的演化谱系。

图 1:3DGS溯源分析示意图
打开网易新闻 查看精彩图片
图 1:3DGS溯源分析示意图

在我们的场景中(如图 1 所示),创建者在线发布了一个原始的 3DGS 模型。恶意用户可以修改该模型,并在网络上重新分发修改后的版本。这些修改通常由多个独立方进行和重新分发。随着这些变体的传播,其可能会侵犯创建者的知识产权,或者被利用来传播有害内容。获得演化关系有助于追踪 3D 资产是如何修改和重新分发,从而支持问责制并防止未经授权的编辑。

在数字取证中,构建此类演化关系的任务被称为溯源分析。如图 1 所示,该过程旨在构建一个图,其中节点代表资产版本,边表示修改关系。现有的溯源分析方法已建立了一个基于痕迹的流程:1)对数字内容进行成对比较,以量化篡改痕迹;2)基于识别出的痕迹构建图。然而,现有的溯源分析方法是为图像设计的,由于结构上的根本差异,无法直接应用于 3DGS 模型。虽然也可以从 3DGS 模型渲染出 2D 图像,但这种渲染会丢失反映编辑意图的关键 3D 结构信息。因此,需要开发一种新的系统来直接对 3DGS 模型进行溯源分析。

进行 3DGS 溯源的挑战主要来自两个方面。首先,公开发布的 3DGS 模型会经历多个实体以不同顺序进行的修改,从而产生具有复杂关联的扩展修改链。其次,即使是单个修改通常也会同时影响 3DGS 模型中的多个属性。这些跨属性的影响会沿着修改链传播,并加剧痕迹混淆。这两个因素的相互作用会掩盖关键的溯源痕迹,阻碍基于痕迹的溯源分析。

二、方法概述

为了应对这些挑战,我们建立了一种新的溯源分析范式。该范式突破了传统的基于痕迹的流程,将溯源问题定义为一个基于证据的推理问题。溯源推理能够捕捉实体之间不变的依赖关系,并识别决定结果的因素。对于 3DGS 资产而言,这种区别至关重要:当一个模型源自另一个模型时,无论使用了何种编辑操作,源模型都会对派生模型的属性施加结构性约束。这些约束条件表现为高斯属性和空间分布中的可检测模式,从而无需痕迹重建即可进行可靠的溯源推断。

鉴于大语言模型(LLM)在结构化推理方面已展现出的能力,为这种溯源推理提供了天然的基础。然而,LLM处理的是自然语言Token,因此无法直接处理 3DGS 模型。为了使 LLM 能够理解 3DGS 表示,我们引入了两种关键设计来提取证据。首先,我们开发了一种属性级分析方法,用于分离编辑操作的耦合效应。该方法独立捕捉每个3DGS属性对修改的响应,将复合信号拆解为清晰可解的独立通道。其次,基于这些拆解后的信号,我们通过将每个3DGS模型表示为属性级统计描述符与模拟编辑结果的组合,构建证据输入。这些组件共同构成了基于LLM推理的统一证据基础。

图 2:方法整体架构
打开网易新闻 查看精彩图片
图 2:方法整体架构

图2展示了我们GaussTrace的整体框架,这是一个用于构建3DGS模型有向溯源图的创新方法。首先,我们计算各属性的统计特征,以捕捉3DGS参数的内在特性。此外,我们引入了假设驱动的编辑模拟,提供了一套包含合理操作的语义词汇表,据此可对观测到的变化进行解释。此外,GaussTrace利用大语言模型对这些综合证据进行结构化的思维链推理,从而能够推断方向性关系,并为每个溯源边生成自然语言的解释。

三、主要实验结果 3.1定性结果分析

如图 3 所示,我们将真实图与预测结果在边缘正确性和方向性方面进行比较。我们的方法能够高保真地恢复完整的演化结构,生成的绿色边缘(方向正确且连接正确)与真实图高度吻合。相比之下,基线方法存在大量粉色边缘(方向错误但连接正确)和红色边缘(连接错误),表明难以准确预测关系。这种视觉比较突显了采用二维图像特征或几何距离的局限性。结果表明,我们的 GaussTrace 方法不仅能够输出合理的连接,还能准确推断其方向,从而实现3GDS模型演化的可靠重建。

图3:GaussTrace的溯源图构建效果
打开网易新闻 查看精彩图片
图3:GaussTrace的溯源图构建效果

3.2 定量性能评估

如表1所示,我们对GaussTrace的性能进行了评估。

表1: 构建3DGS模型溯源图的性能比较
打开网易新闻 查看精彩图片
表1: 构建3DGS模型溯源图的性能比较

可以发现,基线方法在推断3DGS模型之间的正确变换关系方面始终存在困难,这体现在较低的EO 以及VEO 值。这表明,将基于 2D 图像的特征或几何距离简单地应用到 3DGS 溯源场景中,不足以捕捉3D 操作的痕迹。我们进一步引入了一种基于规则的搜索(RBS)基线方法,该方法直接作用于3DGS参数,并采用与GaussTrace相同的统计描述符和编辑模拟,但用确定性评分机制取代了基于LLM的推理。尽管使用了领域特定证据,RBS的性能依旧较低,这表明单纯匹配模拟与观测统计量不足以推断方向性溯源关系。相比之下,GaussTrace 显著优于所有基线模型,充分证明了本方法在该领域的有效性。

四、总 结

本工作提出了 GaussTrace 框架,这是一种用于构建三维高斯泼溅(3DGS)模型有向溯源图的新方法。该方法通过基于证据的推理方式,有效解决了追踪共享和修改后的 3D 资产演化关系的挑战。具体而言,我们结合了 3DGS 参数的属性级统计分析和基于假设的常见编辑操作模拟,构建了证据输入。通过将这些线索整合到大语言模型的结构化思维链提示中,GaussTrace 能够实现带有自然语言解释的有向溯源推理。大量的实验结果表明,我们的方法能够构建准确的溯源图,使其能够有效地用于 3DGS 资产的保护和取证追踪。

Illustration From IconScout By IconScout Store

载誉重返讲坛,以工程实践反哺理论之林,五位青年教授的线上闭门交流

北京时间7月28日(周三) 晚20:00截止报名

详情点击图片跳转

-The End-

扫码观看!

本周上新!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

添加工作人员微信(aceyiming投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

打开网易新闻 查看精彩图片

点击右上角,把文章分享到朋友圈