近日,Reality Labs Research 发布了 SceneScript,这是一种生成场景布局和使用语言表示场景的新方法。

SceneScript 不是使用硬编码规则将原始视觉数据转换为房间建筑元素的近似值,而是通过端到端机器学习直接推断房间的几何形状。

打开网易新闻 查看精彩图片

通过向网络提供大量训练数据,SceneScript 模型学习如何将可视化数据编码为场景的基本表示,然后将其解码为描述房间布局的语言。这允许 SceneScript 从可视化数据中解释和重建复杂的环境,并创建文本描述,有效地描述它所分析的场景的结构。

打开网易新闻 查看精彩图片

SceneScript 的一个优势是其可扩展性,只需向环境数据集中表示门的场景语言添加一些附加参数,就可以训练网络准确预测物理环境中门打开或关闭的程度。

此外,通过向建筑语言添加新的特性,SceneScript 可以准确地预测对象的位置,并进一步将这些对象分解为它们的组成部分。

打开网易新闻 查看精彩图片

例如,沙发可以在 SceneScript 语言中表示为一组几何形状,包括靠垫、腿和扶手。这种细节级别最终可以被设计师用来创建 AR 内容,真正为广泛的物理环境定制。

目前消费者还无法在 Quest 3 或 Ray-Ban Meta 智能眼镜上使用 SceneScript,显然,Meta 的研究为即将推出的 AR 眼镜勾勒了一个新的前景。