朋友们,视频生成模型现在已经不够刺激了。
想象一下,你骑在一条黑龙背上,以 140 公里/小时的速度在山谷里冲刺,翅膀的拍打声还有呼呼的风声,你听得清清楚楚。
但这不是一段没法儿更改的画面,你可以切换视角或者中途输入指令,让场景发生变化。
觉得光看风景有点无聊,用键盘敲出“城堡发射火球和箭”。
按下回车键没几秒,大火球就这么飞出来了,箭也嗖嗖往外射。
两分钟的画面,镜头一刀没剪,全靠人一边操作,AI 一边生成。
这,就是 Genie 4 的实力。
昨天凌晨,Google DeepMind 发布了新一代世界模型 Genie 4,看了几个官方 Demo,我都不敢相信现在距离史密斯吃面条居然才过去了三年。
反正外网现在已经炸锅了,谷歌 CEO 劈柴第一时间下场带节奏,把 Genie 4 称为“最逼真、最具互动性的世界模型”。
不少人跟世超一个想法,每天一睁眼,AI 又双叒进化了,还有网友直言“游戏引擎已死,世界模型万岁”。
就是吧,Genie 4 目前只向一小部分人开放了测试,除了官方 demo,实测基本都集中在 X 上了。
为啥大家这次的反应这么大?
你要是去对比一下去年 8 月发布的上一代 Genie 3,可能就明白了。
Genie 4 单次世界的连贯时长,从上一代的 1 分钟延长到了 2 分钟,但这不是最关键的。
哥几个注意到没,前面黑龙那条视频是有声音的,而且不光是风声、爆炸声这种环境音,还有人说话的声音。
这也是明显区别上一代的地方,Genie 4 是谷歌第一个原生支持音视频同步生成的实时世界模型,声音都是模型根据画面实时算出来的。
另一个比较重要的升级,是咱们可以实时更改世界。
可能有记性好的差友会问,上一代 Genie 3 不是已经支持“可提示的世界事件”了吗?
确实,在 Genie 3 的官方演示里,你在大草原上溜达的时候,也可以通过文字往画面里加个骑马的人或者热气球,但那时候的效果比较简单。
而 Genie 4 更加言出法随,换天气、移动镜头,而且刷出来的东西跟周围场景是有配合的。
像官方那个一对情侣骑摩托车的 demo,测试的人在输入框里连着敲下“背景发生爆炸”和“毁灭世界的巨型外星触手”。
下一秒镜头一转,远处突然发生爆炸,外星人的触手在到处搞破坏。
这不比在大草原上看几个热气球要复杂得多?
不过想要处理更复杂的变化,光靠 Genie 4 自己其实不太够,这次多亏了 Gemini 打配合。
按照 DeepMind 的说法,这叫 Hybrid World Models(混合世界模型)。
简单来说,Genie 4 负责把画面、声音实时生成出来,Gemini 负责在背后盯着,让这个世界按照一定的逻辑发展。
比如你突然下达一条指令,Gemini 会结合当前的场景,判断该怎么调整。
像 Gemini Omni 主要负责让生成的世界更符合现实,包括场景长什么样,里面的人和东西应该怎么动。
Gemini 3.8 Flash 呢,则是负责更复杂的任务。它会一边观察 Genie 4 实时生成的画面,把任务拆解成一系列步骤,一边看生成的画面是不是符合预期,如果中途有啥变化它再及时调整。
除了能处理更复杂的任务,Genie 4这次在物理上也有不小的进步。
像空气动力学、物体碰撞这些现实世界里常见的物理场景,它能模拟出更逼真的效果。
为了证明 Genie 4 真的懂物理,官方专门放出了慢动作测试,一座大理石半身像砸向台上的西瓜,“嘭”的一声,瓜瞬间被砸得稀烂,瓜瓤和汁水也跟着四处飞溅。
一句话总结就是,这次 Genie 4 不光生成的画面更逼真了,还能实时生成环境音、人物对话,让你控制画面的改变。
不过根据我们对官方 demo 的观察,人物说话的 AI 味儿还是挺冲的,面部表情也不是很自然。
真不是世超故意找茬,人外国老哥早就拿着放大镜在挑毛病了。
砸西瓜那个 demo,有人指出按照正常的物理规律,雕像砸下去之后应该会翻倒,但视频里并没有。还有日本乡村火车站那个 demo,列车员说的是英语。
只能说,画面看着挺像那么回事儿,但有些细节还是经不起琢磨。
包括官方也承认,现在还比较早期,模型运行的时间一长,或者你频繁转动视角、修改指令,场景里的物体和细节就可能发生漂移。
但也不能否认,Genie 4 确实有很多应用前景。
就比如游戏开发,在 X 上,有拿到内测资格的用户,生成了一个类似 GTA 的开放世界,还给自己的作品起了个名字叫“GTA Waymo”。
还有拍电影、电视剧,也可以先在虚拟世界里面看看镜头和人物走位应该怎么调整。
但相比游戏开发、影视制作,Genie 4 在机器人训练上的潜力可能更值得关注。
为啥现在的机器人连叠个衣服、端个盘子都费劲?
除了现实环境太复杂,还有一个很实际的问题,就是训练数据不好搞。
机器人想学会怎么端盘子,很多时候得靠真人一遍遍示范,再把它每次怎么动、用了多大力这些数据记录下来。不光费钱费时间,收集到的数据还不一定能覆盖现实里的各种情况。
但 Genie 4 提供了另一种思路,先在虚拟世界里模拟各种情况。
这次谷歌和机器人公司 Apptronik 就联手试了一把,让 Gemini 4 Argon 和 Genie 4 配合,模拟机器人下西洋跳棋。
他们只给了一个很笼统的指令:“跟对面的男孩下西洋跳棋,走一步红棋”。
结果 Argon 把这一句话拆成了 22 个动作步骤给 Genie 4 渲染,指挥机器人低头、伸手、拿起红棋、抬臂、移动再落子。
要是这条路走得通,什么保姆机器人就真有盼头了。
反正吧,现在盯上世界模型的不只有谷歌一家。
就说这俩月,硅谷就因为世界模型热闹不少,Runway 发了能多人联机的 GWM Worlds 2,AMD 掏 82 亿美元收购李飞飞的World Labs,亚马逊也传出准备砸 70 亿美元拿下世界模型初创公司 Decart。
模型的实际落地暂时是没影的,但照这个速度发展下去,过两年再冒出什么玩意儿,我都不觉得奇怪。
世超现在是越来越能理解秦始皇了,这么多好玩的东西,真想活到一百岁啊。。
撰文:西西
编辑:江江&面线
美编:素描
图片、资料来源:
X、Google DeepMind
热门跟贴