从文本生成3D可交互场景，英伟达推出Scenethesis-“文字摆家具”|真实感|英伟达|视觉|视频生成模型

好消息！好消息～欢迎科研团队供稿

免费分享学术项目成果

从文本合成交互式3D场景在游戏、虚拟现实和具身智能（embodied AI）中具有重要意义。然而，现有方法面临诸多挑战：基于学习的方法依赖于小规模的室内数据集，限制了场景多样性和布局复杂性；而大型语言模型（LLMs）虽能利用广泛的文本领域知识，却在空间真实感方面表现不佳，常常生成不自然的物体摆放，违背常识。

视觉感知可以弥补LLMs在空间理解上的不足，为其提供真实的空间指导。为此，英伟达引入Scenethesis，这是一种无需训练的智能体式框架，结合了LLM驱动的场景规划与视觉引导的布局优化。Scenethesis 是一个用于从文本生成交互式3D场景的框架。它在接收到文本提示后，结合语言和视觉先验，生成真实且符合物理规律的室内与室外环境。

01 技术原理

Scenethesis 从用户提供的文本提示开始，首先进入粗略场景规划阶段。在该阶段，大型语言模型（LLM）会生成一组常见于指定场景的物体清单，并选取其中一个作为主物体。随后，Scenethesis 构建一个初步的场景布局，并生成该场景的详细描述提示。

在布局视觉优化阶段，视觉模块首先生成一张细节丰富的图像，用作后续布局优化的参考。

接着，视觉模块结合多种现成视觉模型，提取场景图，并预测初始场景中各物体的5自由度（5DoF）姿态，同时检索相关的3D资产和环境贴图。

直接使用规划好的场景图布局通常会导致物理上不合理的场景，由于检索到的物体与其视觉对应物之间的差异，估计的5DoF姿态与图像引导不一致。为了解决这个问题，Scenethesis采用了一种布局优化流程，可以调整物体的尺寸、位置和方向，确保空间对齐和物理合理性。

最后，场景评审模块对空间一致性进行验证。如果评审结果不满意，系统将重新执行该流程；一旦场景通过评审，生成的3D场景将返回给用户。

02 演示效果

Scenethesis 根据用户提示生成高保真 3D 场景，涵盖室内和室外环境。

相同的文本提示有不同的结果。

在布局一致性、空间真实感和物理合理性方面，Scenethesis显著优于现有最先进的基线方法。然而，方法仍受限于检索数据库的覆盖范围，因为当前的生成式3D方法尚无法处理物体的可动结构。

ScenethesisHolodeck在空间真实感方面的对比。Scenethesis 能够生成空间布局合理的3D场景，将诸如背包、酒瓶、鞋子、花瓶等小物体精准地放置在架子隔间内，而不仅仅是随意摆放在表面。