打开网易新闻 查看精彩图片

新智元报道

编辑:定慧

【新智元导读】只用一张图,一句话,就能创造出随便乱逛的3D世界——李飞飞这次不是在讲故事,而是真的给你「造梦神器」。今天起,全球上线,人人可用。

李飞飞创世神器今天终于正式上线了!人人可用。

这个由WorldLabs推出,名为Marble的网站,用世界模型可以生成瑰丽梦幻的「想象世界」

打开网易新闻 查看精彩图片

体验网址:https://marble.worldlabs.ai/

这波属实是李飞飞自己联动自己了,前两天她的一篇万字长文火爆硅谷,定义AI的下一个十年是「空间智能」。

打开网易新闻 查看精彩图片

文章中,她为真正具备空间智能的「世界模型」所需达成的目标勾勒了一个框架。

而今天这个「世界」正式面向全世界发布。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

看一下官方视频的效果。

我们也实测了一番,效果非常惊艳!这是一个真正的世界体验器。

所有生成内容都像3A大作游戏一样,可以任意的旋转镜头,放大缩小,关键是效果非常逼真。

打开网易新闻 查看精彩图片

现在可以上传2D图片、或者3D模型(需充值)来配合提示词生成世界。

打开网易新闻 查看精彩图片

比如,用下面这种机器人叠衣服的图片。

打开网易新闻 查看精彩图片

然后你就能得到一个真实的3D世界。

打开网易新闻 查看精彩图片

当然,瑕疵也是有的,比如机器人的形象看起来还是有些「幻觉」。

打开网易新闻 查看精彩图片

但整体瑕不掩瑜,效果整体还是非常棒的,尤其是官方列出的几个例子。

比如未来的太空舱卧室。

打开网易新闻 查看精彩图片

或者深秋的校园。

打开网易新闻 查看精彩图片

这款世界模型两个月前首次以限量测试版亮相,今天是正式上线,所有人都可以体验。

Marble与其他世界模型产品——甚至与WorldLabs自家的实时模型RTFM——的不同之处在于,它能创建持久化、可下载的3D环境,而非在用户探索时实时生成世界。

目前需要充值才能下载作品。

打开网易新闻 查看精彩图片

Marble还是同类模型中首个提供AI原生编辑工具和混合3D编辑器的产品,用户可先构建空间结构框架,再由AI填充视觉细节。

去年十二月,WorldLabs曾展示其早期模型如何通过单张图像生成交互式3D场景。

World Labs早期宣传视频

虽然效果令人印象深刻,但略带卡通风格的场景无法完全自由探索——移动范围受限在较小区域,且偶尔会出现渲染错误。

但今天实测的效果让我们意识到,可以说AI的下一个十年,已经开启了!

World Labs最新官方宣传视频

Marble:世界模型

人类对世界的感知本质上是多模态的:我们调动所有感官来理解周遭环境。

通过整合视觉、听觉、触觉与语言,我们构建起对外部世界的心理模型;这些不同表征方式相互协作、彼此增强,使我们能够理解世界并在其中采取行动。

世界模型应当以类似方式运作。它们需要具备大规模多模态能力,能够将各种可用输入信号提升为完整的三维世界,并随着新信息的出现持续迭代更新对世界的认知。

Marble是开创先河的新一代世界模型,正朝着这一愿景大步迈进。

打开网易新闻 查看精彩图片

文本与图像世界

首先,Marble能够仅凭一张图片或简短文字提示创建完整的3D世界。这是最简单便捷的造物方式。

Marble可生成涵盖多种场景类型与艺术风格的世界。

图像提示使得将Marble与其他AI工具结合变得轻而易举。可以使用喜爱的图像生成模型创建图像,随后将其导入Marble,即可将其提升为完整的3D世界。

打开网易新闻 查看精彩图片

文本和图像提示直观且强大,但在创意控制方面存在局限:Marble必须自行构建输入文本或图像提示中未包含的世界细节。

多图像和视频到世界模型

实现更具创意控制的世界构建,一种简便方法是采用多图像提示技术。

Marble能够接收针对世界不同部分的多样化提示图像,并将它们无缝融合成统一的3D世界。

打开网易新闻 查看精彩图片

多图像提示能以更高精度创造世界。

这带来了一种全新的世界生成工作流程。可以使用喜爱的图像生成工具分别迭代输入视角,而Marble会将其提升为完整的三维世界,同时为输入视角之间添加无缝过渡效果。

Marble可以输入几张照片或一段从不同角度描绘现实世界位置的短视频,它会将这些素材组合起来,生成包含现实空间元素的3D世界。

世界编辑

对许多用户而言,创作过程具有高度迭代性。生成世界往往只是创意旅程的起点。当看到生成的 3D 世界时,通常会激发更多修改或完善它的灵感。

Marble内置了AI原生世界编辑工具。编辑可以细微而局部:移除物体、修饰区域;也可以更加彻底:替换

物体、改变视觉风格,或重构世界的大部分结构。这为世界创建过程带来了全新层次的精细控制。

打开网易新闻 查看精彩图片

Chisel:在三维世界中雕琢天地

Chisel和世界编辑还不太一样,有点像一根魔法棒。

Marble的多模态输入与编辑功能赋予对生成世界的强大掌控力。

但有时,要将脑海中的构想精确呈现,仍需对场景布局或物体的精确尺寸位置进行更精细的调控。

针对这些场景,推出Chisel——一款原生AI工具,可直接在三维空间中雕琢Marble世界。

打开网易新闻 查看精彩图片

将世界导出为3D或者视频格式

使用Marble创建世界后,有多种导出选项以便将其整合到下游项目中。

高斯溅射点是Marble世界最高保真度的呈现方式。它将3D场景表示为大量半透明粒子集合。

可以通过与THREE.js集成的开源跨平台渲染器Spark,在浏览器中实时渲染高斯溅射点。

Marble世界亦可导出为三角网格模型。

系统能够同时生成用于粗略物理模拟的低精度碰撞体网格,以及尽可能匹配高斯溅射点视觉精度的高质量网格。

打开网易新闻 查看精彩图片

通过网格格式导出世界,可使其与众多行业标准工具实现无缝协作。

Marble世界以完整3D形式存在,但有时视频才是分享世界的最佳方式。

可以使用Marble将生成的世界渲染成视频,通过像素级精准的相机控制,让每个镜头都如您想象般完美构图。

打开网易新闻 查看精彩图片

Marble是一款先进的生成式世界模型。

但只是我们迈向空间智能征途中的一步。

未来,交互性将成为一个关键机遇。

未来的世界模型将让人类与智能体都能以全新方式与生成世界互动,从而在仿真、机器人技术及其他领域解锁更多应用场景。

空间智能是AI的下一个前沿

李飞飞在她的万字长文中结尾写下的感慨是对这波AI浪潮、智能、人类和机器命运最好的总结:

过去十年见证了AI成为一种全球现象,以及技术、经济乃至地缘政治的转折点。

但作为一名研究者、教育者,如今又是一名创业者,最能激励我的,仍然是图灵75年前提出的那个问题背后的精神。

我依然怀有他那份好奇与惊叹。

正是这种感觉,每天都激励着我迎接空间智能的挑战。

历史上第一次,我们有望构建出与物理世界如此协调的机器,以至于在我们面临的最严峻挑战中,可以将它们视为真正的伙伴。

无论是加速我们对实验室中疾病的理解,彻底改变我们讲述故事的方式,还是在我们因疾病、受伤或年老而最脆弱的时刻给予支持,我们都正处在一项新技术的风口浪尖,这项技术将提升我们最珍视的生活的方方面面。

这是一个更深刻、更丰富、更强大的生活愿景。

打开网易新闻 查看精彩图片

在大自然与远古动物身上释放出第一缕空间智能的近五亿年后,我们有幸成为可能很快就能赋予机器同样能力的这一代技术专家中的一员——并有幸利用这些能力为世界各地的人们谋福祉。

我们关于真正智能机器的梦想,没有空间智能是不完整的。

这项探索,就是指引我的北极星。

我邀请你与我同行。

One More Thing

Marble定价方面,目前共有3个档位,最高一个月95美元,可以最多生成75个世界。

免费版本只能上传图片,可以生成4个世界。

现在Pro版本,首月只需1美元!标准版本依然还是业界最普遍的一个月20美元。

你认为这个价格合理吗?

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

参考资料:

https://www.worldlabs.ai/blog/marble-world-model