新智元报道
世界模型赛道，这两天彻底迎来了大爆发！
就在昨天，谷歌DeepMind发布了全新一代实时世界模型Genie 4，做到了每秒24帧实时生成、单帧延迟低至40毫秒，还能保持长达2分钟的连贯记忆。
借助后台接入的Gemini模型拆解任务，它能在屏幕上同时跑起16路UR5机械臂拿移液管、往微孔板里精准滴注液体的仿真画面。
谷歌Genie 4生成16路机械臂仿真画面
再加上前不久李飞飞团队World Labs推出的全模态世界模型Atlas，只需给一两张参考照片，就能还原出精细的3D空间，顺着镜头一口气生成1分钟的1440p高清漫游大片。
李飞飞团队Atlas生成高清3D漫游画面
无论是谷歌的Genie 4还是李飞飞的Atlas，主流世界模型生成的三维场景已经一个比一个逼真。
可真要把它们搬进具身智能产线去训练机器人，工程师很快就会遇到瓶颈。因为这些漂亮的画面背后，还缺少底层的刚体力学计算。
画面里的纸箱再逼真，算不出箱盖阻力和重量分布，机械臂就练不会装箱；洗衣机门的纹理再清晰，只要铰链没有碰撞反馈，机器人的手伸过去就只会穿模。
要想让机器人在虚拟世界里真练出本事，世界模型就必须在逼真视觉之上更进一步，把真实的物理规律补上。
就在刚刚，大晓机器人联合南洋理工大学S-Lab，正式发布了面向具体环境构建、可探索、可交互的世界模型「Mundo」！
几张酒店照片重建3D空间并供机器人交互
和那些只能看景色的模型不同，Mundo是一个懂物理属性、能动手交互的世界模型。
它把3D场景重建、物理仿真与视频生成融为一体，还结合Astra打造了全新的空间理解能力。
在运行中，系统用场景代码记录每件物体的物理属性，交由物理引擎算出运动和碰撞，再结合现场照片渲染出逼真画面。这样建出来的房间既能看，又能用代码或外力去推拉碰撞，可以直接拿来训练和测试机器人。
项目地址：https://mundo-world-model.github.io/
博客地址：https://huggingface.co/blog/Luo-Yihang/mundo-world-model
把真实房间写成代码
苹果13.5米/秒撞翻显示器
普通的3D重建模型拿到房间照片后，生成出来的桌椅和抽屉都是固定在原地的静态模型，人们只能在屋里转换视角看看风景。
Mundo的做法则是把屋里的每件家具都写成场景代码，给它们加上真实的重量、质心和摩擦力，让人和机器人能够推拉、移动或撞击屋里的物体。
比如在团队展示的办公室实测中，只需对着办公桌、转椅和抽屉柜随手拍下9张照片，整间屋子就能变成一个可以用Python代码操控的物理世界。
Python代码驱动抽屉滑开与苹果撞击显示器
写几行Python代码下达指令，屋里的办公设备就会按物理规律一步步动起来。
0.60秒抽屉滑开，桌底第三层抽屉收到指令，自动往外滑开0.28米；
1.90秒苹果升空，抽屉里一颗重0.2千克的红苹果升到半空，停在4.2千克重的黑色显示器正前方；
3.45秒高速撞击，苹果以每秒13.5米的速度砸向屏幕顶端，当场把显示器撞得向后倾斜；
5.00秒开启「子弹时间」，整个场景时间定格7.5秒，镜头绕着半空的苹果和倾斜的屏幕旋转一圈，随后才恢复重力落回桌面。
除了写代码控制，用户还能用鼠标拖走地上的蓝色垃圾桶，把办公椅向后拉开0.4米，或者往桌面上施加300牛顿的冲击力。
不仅如此，换到不同材质和重力条件下，底层的960Hz MuJoCo物理引擎同样能给出精准的力学计算。
不同材质球体下落与保龄球碰撞力学仿真
让体积相同的橡胶球、篮球和保龄球从同一高度落下，谁弹得高、谁砸得重完全遵循真实的弹性和重量分布，左侧面板还会同步标出15.5千牛的落地冲击峰值。
而在保龄球馆场景里，保龄球以每秒4.6米的速度冲进瓶区，撞击瞬间产生55.6千牛的冲击力，十个球瓶随之飞散，速度、接触点和冲击力曲线与画面完全同步。
屋里每一次推拉和碰撞都有可追踪的状态、可计算的过程，这样的虚拟场景才能真正拿来训练机器人。
拍几张照片重建3D空间
Astra把三维框误差压到1.9像素
要把物理碰撞算得这么准，前提是先把真实房间的三维结构还原准确。
要是虚拟桌子的位置跟现实差了一截，机器人在仿真里练得再熟，到了真机上伸手还是会抓空。
在这方面，Mundo的采集门槛很低。
你只需拿手机拍下1到12张照片，它就能把不同视角的信息放进同一个三维空间，拍到的地方按原样保留真实布局，没拍到的死角也会顺着房间结构自动补齐。
1张、3张与9张参考图的场景还原对比
哪怕只给1张照片，它也能把整间屋子补全；照片增加到3张、9张以后，连桌上马克笔、水杯和文件夹的位置都分毫不差。
甚至只输入一幅梵高的《夜间咖啡馆》油画，它也能顺着画里的透视关系，搭出一条能走进去逛的3D街景。
单幅油画3D延伸与双层住宅跨房间漫游
面对双层住宅或整层酒店这种大尺度场景，输入几十张照片，它还能一口气生成好几分钟的跨房间漫游长镜头。
分块流式生成与动态参考图切换
要知道，普通视频模型生成长镜头时很容易越走越糊。为了保持画面稳定，Mundo每次分段生成124帧画面，并留着上一段末尾的34帧画面做衔接过渡。
随着镜头往前走，系统还会自动换上沿途最匹配的参考照片，从院子一路穿过客厅、厨房走到楼梯间，画面始终连贯清晰。
3D空间搭好以后，要想让物理引擎算准碰撞，屋里每件家具的位置和边界都必须标得非常准。
Mundo三阶段完整技术流水线
要是单靠传统的3D检测器去标物体框，经常会出现椅子腿悬在半空、柜子陷进墙里的偏差，一旦开启物理引擎就会引发异常碰撞。
为了解决这一难题，Mundo结合Astra打造了全新的空间理解能力。
Astra多视角循环校准3D边界框
Astra通过「修改代码、投影比对」的循环机制来校准物体位置。
它一边调整场景程序里的家具尺寸和朝向，一边把3D框投回各个角度的原图去比对轮廓边缘，最后还要交给独立的Reviewer Agent把所有视角复核一遍才算过关。
经过几轮迭代校准，酒店客房里3D框的边缘误差从72.3像素一路降到了1.9像素。
Boxer、SpatialLM与Mundo的3D框对比
放在同一间客房里跟ECCV 2026的Boxer、NeurIPS 2025的SpatialLM比一比，前两个模型框出来的床铺和柜子仍有明显偏移，Mundo生成的3D框则严丝合缝地贴住了床沿与墙角。
空间位置校准之后，三个核心模块便开始协同工作，把静态照片变成可交互的逼真画面。
场景代码建模，大件家具靠校准后的3D框固定位置，桌上要抓取的小物件则生成细致的三维网格，连同重量和摩擦系数一起写进场景代码；
物理轨迹计算，底层的MuJoCo物理引擎根据这些参数算出准确的运动轨迹，并把模拟过程渲染成按物体类别上色的色块引导画面；
真实光影渲染，微调过的Ref2VA视频模型同时参考色块引导画面与现场原图，把真实房间的木纹、反光和阴影细腻地画出来。
一张桌面照片即可适配
还能开启4D子弹时间排查死角
真实房间的三维结构和物理属性都准备就绪后，下一步就是把机器人放进去练活了。
因为三维场景里已经标清了哪儿有家具挡路、哪儿能走人，路径规划器用A*算法瞬间就能给机器人算出绕开障碍的导航路线。
A*路径规划与双视角机器人导航
无论是人形机器人还是四足机器狗，顺着规划路线走的时候，系统都会同时生成背后的第三人称跟随视角和头部的第一视角，一路上经过哪些家具、转弯后看到什么都清清楚楚。
除了室内导航，这套流程在机械臂抓取训练上也省去了大量繁琐的建模工作。
在传统仿真器里训练机械臂，每换一台机器人或换一张桌子，工程师都得重新手动搭建一套三维资产。
而在Mundo里，只需拍一张摆着红苹果、白碗和书本的木桌照片，桌面仿真环境就能自动生成。
Franka Panda、Google Robot、Stretch 3、Galaxea R1 Pro和Unitree G1五款长相和结构各不相同的机器人，都能站到这张木桌前，轮流练习抓苹果、拿易拉罐和搭积木。
单张桌面照驱动五款机器人练习抓取
在训练过程中，画面左侧展示全局外部视角，右上角同步显示手腕或头部的第一视角，右下角则实时跳动着关节角度、物体高度和速度曲线。
研究人员在屏幕上就能把机器人「看到的画面」和「关节怎么使劲」逐帧对应起来，在真机上场前把动作策略调到最优。
如果单一视角刚好被挡住看不清动作细节，还可以随时把时间定格，开启四维时空「子弹时间」换个角度仔细排查。
四维时空「子弹时间」环绕观察动作细节
机器人真机动作环绕观察，比如双机械臂在半空交接香蕉、大晓人形机器人把蓝布扔进纸篓时，系统参考四台相机拍下的真实动作，能随时定住机械臂姿态，转着镜头生成全新的环绕视角；
物理碰撞瞬间定格排查，在国际象棋倾倒、红鼓砸向地板这类物理模拟场景里，镜头也能绕着半空定格的棋子旋转一圈后再继续下落，把接触面和遮挡死角看得一清二楚。
22万点云还原整层酒店
机器人进房送包、拉开洗衣机门
这套能力并没有停留在实验室的桌面上，技术团队已经把Mundo带进真实的商业酒店完成了实测。
整层酒店22万点云重建与跨房间导航
在酒店现场拍完一圈多角度照片后，整层酒店的大堂、走廊、客房和洗衣房，就被还原成了由22万个三维点组成的数字楼层。
顺着规划好的路线，人形机器人从大堂出发，自己穿过长走廊走进客房，拎起手提袋稳稳放到床上。
酒店洗衣房重建与拉开洗衣机门交互
走进空间紧凑的酒店洗衣房，面对一排滚筒洗衣机，机器人穿过狭窄过道后，还能照着还原出来的洗衣机结构伸手拉开舱门，在真机进场干活前先把整套动作跑通。
在大晓机器人以Kairos（开悟）为核心的世界模型体系中，Mundo补上了具体环境建模与仿真训练这一环，把「现场拍照采集、合成训练数据、打磨控制策略」整条流程串了起来。
目前，这套技术体系已经走进商业场景，很快将在国内头部连锁酒店落地实际应用。
世界模型上半场比拼的是谁生成的画面更逼真，下半场比拼的则是谁能把真实的物理规律装进虚拟世界。
参考资料：
https://mundo-world-model.github.io/
编辑：摩西
热门跟贴