Google DeepMind 刚刚放出了 Genie 3：世界模型！
输入一句话，便给你生成一个 3D 世界，然后你可以在里面自由走动
雪地里走两步，脚印都给你渲染出来了
这个视频里的雪山场景，提示词：高海拔开放世界，可变形的雪地地形
角色设定是：一个敏捷的登山者，可以全方向移动和跳跃
生成之后，你用键盘控制登山者在雪地里走，雪会被踩出痕迹，视角跟着你的操作实时变化
这个冲浪的提示词更长：无尽的海洋，巨大的雷鸣般的海浪，巨大的蓝绿色浪管在阳光下翻滚，成百上千的海鸥飞得很近，偶尔会挡住视线
角色设定：一块白色冲浪板的板头，直指海浪的浪管
海浪、海鸥、阳光...等等都进行了实时渲染，而你可以控制冲浪板在浪里穿行
要知道，Sora 生成的是一段固定的视频，你只能看
Genie 3 生成的是一个世界，你可以操控，这便是「世界模型」
怎么玩到
现在只对美国用户开放，需要订阅 Google AI Ultra，$250/月
入口在 Google Labs 里，产品叫 Project Genie
在这里，访问别人创建的世界，比如旁边这个飞机
当然，也可以自己创建一个世界，点这个 Create your own 进去就行了
短暂载入后，创建界面长这样
左边写环境提示词，右边写角色提示词：
环境提示词：可以描述你想要的世界，比如「木叶村的街道，有拉面店和火影岩」
环境提示词：可以描述你要扮演的角色或者控制的物体，比如「童年的漩涡鸣人」
填完点生成，等几秒钟，世界就出来了，这是一个可以游玩的世界
操作方法，就类似常规的 3D 游戏：
• W、S、A、D 控制前后左右移动
• 上下左右箭头控制视角转动
• 空格键跳跃
• 但鼠标没啥用
每次能玩 60 秒，时间到了可以重新生成，这里我放一个我的录屏，可以看看
它能生成什么样的世界
讲真的，这些东西真的太牛逼了，我这里我用一些来自官方的例子，和大家一起看看
物理世界
从沙漠到海洋到极端天气。水有动态物理效果，雪地可以踩出痕迹，纸飞机掠过水面会有波纹
生态系统
动物有自己的行为模式。狐狸在草地上跑，鹰在山谷里滑翔，植物细节也能渲染
动画和奇幻风格
不只是写实。黏土定格动画、水彩画、针织毛毡，各种风格都能生成。有个演示是一只黏土小猫在图书馆里走，另一个是毛毡蜗牛在花园里爬
不同地点
雪山、外星地表、维多利亚街道、古雅典。有个演示里还有传送门，从维多利亚街道走进去，出来就是沙漠
环境一致性
你在世界里走了一圈回来，之前看到的东西还在原位
这其实比生成一整段视频更难。Genie 3 是自回归生成，一帧一帧往后推，误差会随时间累积。现在能保持数分钟的一致性，离开视野的物体大约一分钟内回去还能看到
可提示的世界事件
你在探索过程中可以用文字改变世界。天气变化、添加新物体、引入新角色，都可以。有个演示是第一人称给房子刷油漆，油漆痕迹会留在墙上
核心能力
Google 称 Genie 3 是「第一个实时交互的世界模型」（the first real-time, interactive world model）
实时
20-24 帧每秒，720p 分辨率。你操作的时候，画面实时生成，没有明显延迟
世界一致性
你在世界里走了一圈回来，之前看到的东西还在原位。官方说能保持数分钟的一致性，之前离开视野的物体，大约一分钟内回去还能看到
从文字直接生成
Genie 1 需要图片输入，Genie 2 需要单张图片，Genie 3 直接用文字描述就行
自己学会的物理规则
水流、重力、光影、物体碰撞，这些物理效果是模型从视频数据里自己学出来的，没有硬编码物理引擎
更牛逼的用途
在 Google 的说法中，除了给大家玩，这个模型还有一个更牛逼的用途：让真实智能体，在仿真世界里训练
比如说 SIMA 2，也是来自谷歌，一个能在 3D 游戏里执行任务的 AI，通过读取屏幕画面，用虚拟键盘鼠标，来完成游戏内的操作
SIMA 2 在 Genie 3 里执行任务
现在把 SIMA 2 放进 Genie 3 生成的世界里。给它设定目标，比如「走向亮绿色的垃圾压缩机」，它能在生成的仓库环境里完成导航
SIMA 2 自我改进循环
更有意思的是自我改进。不少第一代智能体失败的任务，经过几轮自我训练之后就能完成，不需要人类额外标注数据
世界模型能给智能体提供无限多样的训练环境，不用在真实世界里试错
当前限制
对于当前版本，依然有许多限制，Google 特别给列了出来
交互时长有限
每次只能玩几分钟，不能连续玩几个小时
动作空间有限
角色能做的动作目前只有基本的移动和跳跃，复杂动作做不了
多智能体交互难
多个独立智能体在同一个环境里互动，目前还是研究难题
真实地点不精确
没法完美复刻真实世界的具体位置
文字渲染有问题
除非在提示词里明确写了，否则生成的世界里文字通常不清晰
还有一条没在官方限制，但更实际的：$250/月
最后
以 Genie3 的梦境，作为收尾
一花一世界，一夜一菩提
热门跟贴