智东西1月14日消息，据外媒Upload昨日报道，苹果Vision Pro用户已经可以通过一款名为Splat Studio的新应用，将普通图像转换为可交互的3D场景。
Splat Studio由葡萄牙开发者Rob Matwiejczyk开发，是一款基于苹果开源AI模型SHARP的3D场景生成应用。
▲Splat Studio应用介绍（图源：苹果应用商店）
Vision Pro用户可在苹果应用商店免费下载Splat Studio，并从照片库中选择任意图像，应用即可将其实时转换为可交互的3D场景。
生成后的场景支持手势操作，用户可以在虚拟空间中对画面进行旋转、移动和缩放，以全新的视角探索图像内容。
一、Splat Studio实测：设备端生成可自由移动的3D场景
外媒Upload在搭载苹果M5芯片的Vision Pro上对Splat Studio进行了测试。作为对比，Upload还将同一张图片通过visionOS 26的系统功能生成空间场景。
visionOS 26是苹果于去年9月为Vision Pro推出的操作系统版本，也支持将照片转换为3D场景。但其本质是一种体积照片（Volumetric Photo），用户的可移动和观察范围相对有限。
在实际体验中，用户从照片库选择图像后，Splat Studio会将其转化为一个完整的3D场景，支持通过手势进行旋转、移动和缩放操作。
▲由苹果SHARP驱动的Splat Studio应用测试效果，边缘细节有损失（图源：Upload）
从处理速度来看，Splat Studio将图像转换为3D场景大约需要20秒，而visionOS 26的处理几乎可以瞬时完成。
目前尚不清楚其中的延迟究竟有多少来自SHARP模型本身，又有多少是Splat Studio应用额外引入的运行负担。
在画质方面，Splat Studio生成的3D场景在部分细节上存在一定损失，且随着用户视角偏离原始拍摄角度，画面会逐渐出现模糊现象。
▲同一图片在visionOS 26中生成的3D场景，视角较为受限（图源：Upload）
不过，Splat Studio的优势也十分明显：其生成的3D场景可移动范围显著大于visionOS 26。
相比之下，visionOS 26虽然支持用户在空间中观看照片，但在各个方向上的移动空间相对受限；而Splat Studio生成的场景允许用户在更大的范围内自由移动和探索。
二、Splat Studio的技术实现：苹果SHARP从云端到本地打开低成本3D重建路径
在过去一年中，已经出现了不少开源和专有的AI系统，能够将照片转化为可自由探索的3D场景。例如Marble允许用户在头显的浏览器中，借助WebXR技术直接探索生成的场景。
▲之前在Marble中生成的3D场景，效果较好但费时（图源：Upload）
但Marble通常依赖高计算成本的服务器端模型，生成一次结果往往需要好几分钟。这也正是苹果SHARP模型引发关注的原因所在。
SHARP可以直接运行在典型的消费级设备上，支持通用CPU以及英伟达CUDA、苹果Silicon的Metal硬件加速。在大多数硬件环境下，其处理时间不到1秒，显著降低了3D场景生成的门槛。
结语：SHARP免费开源，3D场景可在任何标准查看器中查看
苹果罕见地将SHARP以免费、开源的形式对外发布，相关代码已在GitHub上开放，用户可以轻松下载并在Mac等设备上运行。
与过去几年几乎所有重要的3D重建技术进展一样，SHARP生成的仍是一个高斯溅射（Gaussian splat）场景：通过将数百万个半透明彩色斑点（即“高斯”）嵌入3D空间，实现对任意视角的实时渲染。
最终生成的结果以.ply文件形式输出，可被任何标准的3DGS查看器渲染和查看。
这也意味着，苹果正在通过SHARP，为低成本、设备端3D重建打开一条新的技术路径。
来源：Upload
热门跟贴