就在最近,华为在GitHub上开源了一个全新的世界模型叫做WorldGrow,这个模型可以允许生成3D世界,并且只需要一张A100卡即可运行。

打开网易新闻 查看精彩图片

模型来自论文,来自上海交通大学、杭州科技大学一起发布的,因为这是两位学生在华为实习的时候完成的,这个模型可以让机器人模型可以自己在房间里完成任务并且自己训练自己,如下是论文的封面允许机器人 在里面进行行走,并且模型不断生成新的房间,让机器人识别出来。

打开网易新闻 查看精彩图片

与之对应的现在全世界还有几个头部的空间模型,分别是

2.李飞飞的RTFM (源代码未开源)

RTFM是基于worldlabs衍生出来的,前者需要大量的显卡算力无法部署,而RTFM只需要一张A100即可运行,可以支持用户在世界里进行空间交互,再将其AI模型在物理世界中运行,获取模型反馈并得到模型的训练优化。

如下是RTFM的测试链接,可以调整世界交互速度与画面分辨率

打开网易新闻 查看精彩图片

而RTFM最大的特点是只有一张A100就可完成部署与运行,并且运行用户在第一视角上完成上下左右的运行。

https://rtfm.worldlabs.ai/

3.马斯克的:世界模拟器 simulate world

异曲同工的还有马斯克特斯拉的世界模拟器,相较于前面2个模型,这个生成的更加真实,包含了真实世界的场景与人类,可以让FSD模型实现更好的自动化驾驶,同时世界模型同样适用于具身机器人的擎天柱训练。

打开网易新闻 查看精彩图片

被称之为自驾模型训练的缸中之脑,通过生成真实的世界街道录像,让特斯拉FSD模型可以自主在虚拟世界中自动化驾驶。并且生成特定任务,让AI模型可以在其中学习正确路线

以上世界模型典型的特点是首先是3D的,其次是空间生成的物理尺寸与规律和真实世界一样,3个世界模型的竞品对比,除了开源与闭源的关系,还有在数据集、展现方式、落地厂家、工程成熟度以及优势、局限来做的对比。

维度

Tesla World Simulator

Huawei WorldGrow

World Labs RTFM

核心目标

统一 FSD 与 Optimus 的端到端自主学习/仿真

无限大显式3D世界

生成(可拼接扩展)

实时交互式

世界生成(帧级自回归扩散Transformer)

数据/训练

车队与机器人视频/多传感器;闭环E2E

高质量场景块数据 + 3D上下文建模

大规模视频数据端到端训练

展现方式

神经视频/隐式世界表示(偏黑箱)

显式3D

:体素→网格→贴图,利于工具链

2D帧生成但保持3D一致与持久性(空间记忆)

落地场景

自动驾驶、机器人策略学习与评测

内容生成、仿真场景资产搭建

交互应用、内容/场景快速生图与游走

工程成熟度

高(量产导向、闭源)

研究前沿(论文+Demo)

研究到产品化过渡中(公开Demo/博客)

开源/可用性

未开源

论文/项目页公开,代码待看版本

官方博客/演示,暂未见完整开源

优势

与真实任务强耦合;统一车辆/机器人

显式3D可编辑、可拼装、扩展无限空间,在空间产品设计场景上使用,尤其是家居室内

单卡H100实时、可交互、3D一致性强,适合空间3D交互效果

局限

封闭难复用;细节未公开

与控制/物理闭环还需打通

与控制/物理对齐、长时稳定仍需验证

AI产品正在从文字到2D再到3D最后到空间感知与物理环境

现在看AI的生成内容已经从单维逐步到2维最后的三维世界,现在还缺少空间的感知与物理环境,这些仍然需要大量的数据训练。

不过很遗憾的是,很多产品经理都跟不上了,因为前几天做了一个调研,现在付费使用AI大模型的产品经理,只有不到20%,从现在来看这个数据是非常低的。

打开网易新闻 查看精彩图片

如果你也感兴趣这个调研,可以在这个文章里参与投票。

以上的世界模型,除了华为的可以复用并且场景有限在室内,对希望做人形机器人的开发者来说,空间数据依赖于更准确、更复杂的环境生成,才能够让模型有通用型,而这部分就需要更加真是的外部世界。

当然,我也找了几篇论文有开源的世界模型,比如下面这个基于GTA5世界效果来作为数据集训练的世界模型,Matrix2.0,可以参考论文地址活动模型源代码: https://arxiv.org/pdf/2508.13009

打开网易新闻 查看精彩图片

这些世界模型就可以用来做人形机器人的通用模型训练,甚至是可以做到让真实世界与虚拟模型一致,简单来说就是数字孪生实时生成。

要知道现在SORA这些视频生成模型,也可做到上下环节的主要人物没有区别,控制片头片尾一致性,而世界模型则是做到真实世界的映射。

这样机器人的操作其实在虚拟模型里面已经完成了,真实世界只是一个模型的落地操作,这样人形机器人就具备“通用型了”。

接下来,在十五五规划里,人形机器人将配合国家发展策略进行大爆发,接下来产品经理对应的研发产品科技将和国家强相关。

今天的分享就在这里

“关注我,一个产品经理的创业故事”

产品经理一键AI工作站,Paraflow

我最近的精选原创

云栖大会后,阿里正式成为了中国的“OpenAI+英伟达”

和我一起每日拆解AI产品APP

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品。

在这里你可以随时查询到你想找的各类竞品行业APP,无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。平均1天1块钱,扫码购买即可加入,连续体验48款应用,通过后原路退回。

报名后添加星球助理

PMTalk123