今天，世界模型几乎成为 AI 领域最受关注的话题之一，但对于“什么才是真正的世界模型”却依然存在巨大分歧。有人认为它只是视频生成的延伸，也有人认为只有能够理解物理规律、支持机器人行动的系统才是真正的世界模型。
清华大学智能产业研究院（AIR）助理教授赵昊提出了另一种答案——原生 4D 世界模型。在他看来，仅仅生成一段看起来连贯的视频，还不足以说明模型理解了世界。真正面向自动驾驶和机器人的世界模型，需要进一步描述几何、时间、光学属性以及物体间的力学关系。
从室内布局、三维场景理解与几何约束，到 NeRF、自动驾驶仿真、4D 生成，再到推进至 3D 生成、机器人策略学习和 4D 世界模型，过去十几年，赵昊的研究路线几乎完整经历了空间智能的发展过程。
在这次对话中，我们试图追问的并不是“世界模型是否重要”，而是一个更具体的问题：为什么必须是 4D？这条强调显式几何与物理表征的路线，究竟是下一代基础模型，还是在大规模视频模型成熟前的一种阶段性方案？
以下是我们的对话：
从场景理解到 4D 世界模型：一条清晰的技术演进路线
DeepTech：在 AI 从看见世界迈向理解与干预世界的过程中，三维场景生成、神经渲染与生成式仿真这三个概念频繁出现，它们之间是一种怎样的关系？
赵昊：三维场景理解到三维场景生成，是一个挺自然的延伸。如果把这个时间拉回到我读博期间，当时，计算机视觉领域认为最重要的技术就是三维场景理解，它最大的落地场景是自动驾驶，后面自然延伸到了三维场景生成。实际上，神经渲染是三维场景生成的一个重要的技术，而生成式仿真又是一个更大的概念，你可以理解为它是三维场景生成和神经渲染的应用。
DeepTech：从语言模型到 4D 世界模型，多模态大模型是如何一步步演进的？
赵昊：从整个领域的发展脉络看，多模态大模型已经历了数代演进，AI 在不同阶段遇到了不同的瓶颈难题。
如果按照我们团队对多模态模型的划分，第一代是以大语言模型 Token 为代表，如 OpenAI 的 ChatGPT 和 Meta 的 Llama 3，主要解决语言理解、推理与对话，但其瓶颈在于互联网语料已基本用尽，难以继续通过原有范式提升。
现在智能体（Agent）从范式上看并没有什么显著的变化，只是在应用和架构上更先进了。以 Anthropic 为例，它现在的一个提升方式是在各种环境中，让智能体做强化学习，比如编程（coding）的环境，这里的编程环境也是一个世界模型。
第二代融合了图像 Token 和文本 Token，典型代表是 GPT Image2.0 和 Nano Banana，实现了图文理解、生图与编辑。第一代和第二代多模态大模型的共同问题是，无法解决物理世界的真实问题。
当前，行业正朝着更复杂的代际迈进。第三代引入了视频 Token，如 Seedance 和 Sora，它们开始处理时间动态与动作连续性，但并没有完全成熟。第四代发展为加入 3D Token，它所关注的是空间结构和物理属性，比如 Trellis.2。
第五代可称为 4D World Token，进一步整合空间、时间、物理与交互，这也是我们团队近期重点的发展方向。AI 是第四次工业革命的核心，它的演进路线很清晰：从理解语言和图像，到最终理解、生成并推演物理世界，并驱动智能体在世界中行动。
DeepTech：过去一年，Dexora、Trellis.2、机器人生成式机械设计等工作都是 Best Paper 级别。很多人会觉得跨度很大，这些成果在整个技术路线中分别承担什么角色？
赵昊：Dexora 是首个原生支持双臂双手高自由度操作的开源 VLA 系统（ICRA 2026 Best Paper Final List）[1]，通过混合遥操流程和判别器加权训练，在灵巧性基准测试中显著优于现有基线模型。通过1万条真机数据，验证了大量的仿真数据可以带来高自由度灵巧手操作。
第二个工作是原生物理光学属性的高分辨率 3D 生成式人工智能（AIGC）基模 Trellis.2（CVPR 2026 最佳学生论文）[2]，它的核心是从原生三维数据中学习结构化的隐式表征，解决了原生 3D Token 的问题。
其中，O-Voxel 表征中不仅有几何的信息，还有所有的光学属性的信息。原生的意思就是指所有的这些几何和光学属性，包括透明度、粗糙度、金属感，还有基础颜色全部都是通过原生的 3D Token 进行编码的。
第三项工作是“Automated Synthesis of Facial Mechanisms for Conversational Animatronic Robots”（RSS 2026 Best Paper Final List）[3]。它是一个生成式的机械设计，其实就是任意给出一个二维的人脸肖像，不仅能够生成它的三维模型，还把里面的机械结构也生成出来。包括尤达大师、精灵、《泰坦尼克号》中的杰克、露丝，还有《白蛇传》中的许仙、白素贞、小青等等。
总体来说，这个系统能自动设计一个个性化、无碰撞的面部机制，并将其转化为可制造的机器人头部，同时生成实时的说话和倾听表情。从一张图片到一个实体的、可对话的机器人面孔，整个过程将专业机械设计时间从 22.8 小时缩短至 11.7 分钟。
DeepTech：这些工作看起来分别属于机器人、3D 生成和世界模型，但你一直强调，它们其实都属于物理 AI。为什么今天世界模型会成为连接这些方向的共同底座？
赵昊：即便以语言模型为核心的 Agent，在执行编程等任务时，也需要与一个能够反馈状态变化的外部环境交互；从广义角度看，这类环境具有某些世界模型的功能。
随着中期演化，当前的多模态大模型，无论是视频生成、图片编辑，还是三维、四维生成，仍然无法解决具身智能和自动驾驶所面临的问题，也缺乏对物理人工智能（Physical AI）的感知能力。
因此，世界模型已成为当下的核心主题，领域内也随之涌现出许多新进展。例如，我们的 Dexora 就是利用大规模仿真数据和高精度遥操作数据，训练了面向高自由度双臂双手操作的决策模型。
另一方面，Trellis.2 原生 3D Token，使得下一代及下下一代多模态大模型成为可能。同时，三维 AIGC 也超越了单纯的三维模型生成，进入了物理 AI 阶段，例如可用于生成机械结构。
DeepTech：此前，你们有一系列自动驾驶世界模型工作如 MARS、UniScene、DiST-4D、OmniNWM等。这些成果在论文中已经展示了完整系统能力，但论文结果与客户真正可用的产品之间，通常存在很长距离。在你看来，它们还没走向商业化的原因可能有哪些？
赵昊：有一部分是产业周期的原因，之前还没有到那个阶段，以前自动驾驶的范式相对没有收敛。所以，之前大家也很难让做模型的人用一个统一的方法去 scale up 它。而现在，这些东西都已经把雏形搭好了，基本的原理也都有了。
那为什么还存在距离？因为过去三年，从 2023 年 MARS 发表的时候，到现在 2026 年，这些技术还在不断演进，但现在基本上已经收敛，到了一个可以用持续的数据、算力投入，加上工程团队和客户迭代，把自动驾驶的世界模型给做出来的阶段。
现在自动驾驶的范式已经比较收敛，是可以 scale up 的时候了。之前没有做延伸，是因为技术没有收敛。如果没有一个确定的方案，方案没有收敛，那么用持续的数据、算力投入、工程团队和客户反馈，可能最后也没有什么实际效果。
DeepTech：你早期研究室内布局、三维场景理解与几何约束，之后进入 NeRF、自动驾驶仿真、4D 生成和机器人世界模型。回过头看，这是一条从一开始就明确的技术路线，还是在视频生成、扩散模型和具身智能兴起后，才逐渐收敛成今天的 4D 世界模型？
赵昊：虽然现在大领域的共识是自动驾驶模型的市场付费意愿还没那么强，但我记得之前有人说过，自动驾驶会是 AI 一个非常重要的 workload。
我们且不说具身智能还在投资期和成长期，真正有人实打实投入资金的方向，就是自动驾驶。自动驾驶要消耗很多算力、很多卡，还有视频生成和编程，这是三个已经比较 solid 的 workload 了。目前，自动驾驶现在还“卡”在 L2.99，必须要有一个大规模量产的世界模型，才可以真正把它推到 L4。
我觉得很有意思，你刚才说的和我在谈话开始时候说过的三维场景理解是一致的。从三维场景理解到三维场景生成基本上是学术界一个正常的转向，所以，也可以说一开始就明确了技术路径。
DeepTech：领域内有没有一些进展，是印证或启发了从三维场景理解到四维世界模型可能会是发展趋势的？
赵昊：有篇论文“Rendering Synthetic Objects into Legacy Photographs”（SIGGRAPH Asia 2011，后发表于 ACM Transactions on Graphics）[5]。它先研究房间布局、场景理解、几何约束，然后再做生成，把物体放进去，本质上就是先做三维场景理解，再做三维或四维的场景生成，这和我们讨论的技术路线完全对得上。
这篇论文可以说是我们领域的一个经典，它恰好体现了先理解后生成的思路。你要问我是不是一开始就明确了技术点，那还真是，因为在当时计算机图形学领域顶会 SIGGRAPH，我追随的那些该领域的资深专家走的就是这个技术路线。
后来视频生成、扩散模型和具身智能崛起以后，推动了这一方向的发展，也让人们意识到这件事已经具备了可行性。我第一次真正意识到这一点，是在读博期间读到这篇论文的时候，当时就坚定了从三维场景理解到四维世界模型的发展路径。
DeepTech：世界模型需要长期基础研究，也需要数据、算力、产品和高强度交付。与纯工业界出身的团队相比，学院派如果想推动相关技术或项目商业化落地，真正的优势是什么？
赵昊：这涉及到一个技术、商业项目或产业方向的本质问题。世界上有很多学院派创业，比如软件定义网络（SDN）就是典型，世界模型尤其如此，现在声量最高的杨立昆（Yann LeCun）和李飞飞都是学院派代表。
学院派做商业化和工业团队的商业模式各有不同。举例来说，腾讯和字节是典型的产品驱动型公司，产品好、体验好，微信、抖音、王者荣耀都是把人性体验拿捏到极致的产品。阿里则是一个典型的平台型公司，管理和生态最重要。产品公司的技术当然是核心要素，但产品驱动型公司更多是把成熟技术做到好的体验。
所以如果硬要分类，世界上大概有产品型、平台型和技术型三类公司，AI 显然属于技术型。像 GPT 或语言模型，必然是 OpenAI 这样的全明星科学家团队才能做出来。
当然，产品型公司以前也做过相关尝试，比如苹果的 Siri。在大模型出现之前，它已经通过大量的产品定义和预设问答，在没有大模型的情况下把产品体验做到了极致。所以从 Siri 到 GPT，本质上是从产品型业态向技术型业态的转变。
什么是真正的 4D 原生？
DeepTech：世界模型是近期大家都在讨论的话题，但说法并不一致，比如有生成视频、生成三维场景、训练机器人，还有辅助自动驾驶都号称自己是世界模型，那到底什么是世界模型？
赵昊：世界模型最核心的就是刻画世界的变化。无论是生成视频、三维场景，还是在其中训练机器人、做自动驾驶，本质上都是在刻画世界的变化。
至于 State 用什么方式来表达，其实有很多种形式，它可以包括语言模型在编程环境中的状态变化，AlphaGo 下围棋时的棋盘向量，生成图片可以理解为用离散的二维图像状态来刻画变化，视频则是通过视频 Token 的变化来体现，三维的、四维的都是世界模型，联合嵌入预测架构（JEPA）本质上也是一维的世界模型。
所以，世界模型的定义很清楚：刻画从 State t 到 State t+1 的变化，只是不同模型采用的状态维度不同，有的是一维、二维，有的是三维、四维。它们最核心的区别在于，如果采用一维或二维的 Token，天然缺乏四维物理世界所需的表征，包括物理属性和光学属性，因此很难真正刻画世界的变化。
神经网络的可解释性本身就很差，如果用一维 Token 去表达世界变化，既难以解释，也难以修正。二维视频生成也经常遇到不符合物理规律的问题，但由于表征本身就是二维的，出了问题也“束手无策”，网络本身就是个黑盒。
所以，要真正解决物理 AI 的问题，包括自动驾驶、具身智能以及物理真实的游戏和影视，还是需要四维表征才能真正解决这些问题。关键就在于，四维表征更可解释、更明确、更可依赖，这是其他维度无法替代的。
DeepTech：为什么三维场景加上一个时间轴，还不能算团队所定义的物理原生 4D 世界模型？第四维除了时间之外，还应该包含什么？
赵昊：从本质上来看，世界模型的物理属性主要分为热学属性、电磁学属性、光学属性和力学属性，我们现在主要关注的是力学属性和光学属性。但电磁学也很重要，比如无人机的世界模型就需要关心电磁学和反无人机的问题；热学属性同样关键，它关系到自动驾驶车辆和机器人的散热。
纯三维场景加一个时间轴，其实只是 3.5D 的世界模型，而不是真正的 4D。因为每一帧之间没有通过光学和力学的变化建立联系，每一帧都只是一个独立的三维场景，你并不知道每个点的受力、速度和动量。
只有把力学属性如杨氏模量、密度、动量、受力等都刻画进去，才能让时间轴上的每一帧真正关联起来，形成完整的、4D 原生的世界模型表达物体状态、身份和运动轨迹。
非 4D 原生的模型，比如 3D 模型或视频模型，并没有刻画这些东西。必须要包含物理属性，其中热学和电磁学我们暂时还没深入，光学和力学才是当前的核心。没有这些属性，就只是一个 3.5D 的模型。
DeepTech：你和团队提出 4D World Token，为什么要把连续的物理世界 Token 化？
赵昊：首先三维世界、三维模型本身都是连续的，Token 化的。比如 Trellis.2[2]也是有一个变分自编码器（VAE），然后在一个网格上，把三维模型变成三维 Token，然后再去做生成。
其次，视频模型其实也是 Token 化的，无论是 Seedance、Sora 还是万象，它其实都是有一个 VAE，把它变成视频 Token，图片也同样会把这个东西变成 Token 的。所以，语言模型变成 Token 化这件事，是现代多模态大模型的一个惯例。
我认为，除非量子计算、神经拟态计算这些新的计算机架构能有突破，我们在很长一段时间内还是需要把连续的物理世界 Token 化，在 4D 中也是一样。
DeepTech：在强化学习的定义中，环境模型往往不仅要预测状态变化，还可能需要预测奖励或价值；而计算机视觉领域的世界模型通常更关注视频、几何或未来状态。你认为，面向智能体的世界模型是否必须提供奖励信号？如果不同任务对应不同的奖励，奖励本身应该是由通用的奖励模型还是由独立的价值模型承担？
赵昊：我觉得这个问题非常专业。奖励必须在 4D 表征上才好定义。首先奖励非常重要，奖励就是你仅仅预测物理状态的变化是不够的。有很多种世界模型都是从 State t 到 State t+1，但有的是一维表征，有的是二维视频生成模型。
实际上，它就是一个二维表征的世界模型，这个状态是一维、二维、三维、四维的区别，关键在于你要怎样去定义，怎么表达这个状态，你就在这个状态上怎么去定义它的奖励。
因此，世界模型必须要有好的奖励才可以。它也许需要独立的价值模型来承担，但这样就涉及到你到底要表征成什么样。一维只能通过神经网络盲目映射，二维不能理解空间关系，三维无法理解“快快的”或者“轻轻的”这种奖励。
所以，对涉及空间关系、动态过程和物理交互的任务而言，完整的 4D 表征有助于把奖励定义得更明确、更可解释。
技术路线之争：几何、查询范式与 Scaling Law
DeepTech：从你们的研究看，无论是 UniScene、ORV 还是其他 4D 生成工作，都非常强调几何、占据和时空结构。但根据大模型路线，只要数据和算力足够，模型可以从像素中自行涌现三维结构与物理规律。所以，几何先验究竟是团队的长期壁垒，还是在模型和数据规模不足时必须使用的一根“拐杖”？
赵昊：我从两个角度来回答这个问题。二维的表征它有可能自然地学出三维结构和物理规律，但前提是数据和算力足够。然而，这些数据还是要靠四维的模型去生成的，我觉得这个逻辑是必然的。
在我看来，几何先验的作用不是一个“拐杖”。我预言，四维世界模型未来将会是一个大模型，而二维的模型可能是从 4D 模型中提取出来的一个小模型。所以，它们之间的关系是：我们的 4D 世界模型是“重”模型，而 JEPA 这样的是“轻”模型。至于数据和模型规模不足的问题，未来这种纯大模型路线，还是需要像我们这样的 4D 世界模型来提供数据才行。
对于长期壁垒，我的看法是：纯的二维大模型，即便未来被验证可行，也必然是在我们这种四维模型做成功之后，利用我们生成的 4D 数据来训练的。因为大模型需要海量数据，而我们正是提供这些数据的角色。
并且，它们的算力消耗远低于我们。所以，一旦我们的路线走通，其他路线可以提取我们的成果，变成一个二维表征的模型，但我们同样能做它们做的事——我们可以降维，但它们无法升维，做不了我们做的事。
DeepTech：你曾判断，基于查询的几何基础模型会成为趋势。如果模型最终能够在隐空间直接查询任意时空位置的信息，是否意味着显式三维重建、网格、点云乃至占据表示都会逐渐退到后台？你判断的是查询式几何，但这条路线的终点，会不会恰恰是模型不再显式构建几何？
赵昊：这里需要澄清一个事实，查询式（query-based）Transformer 实际上是一种架构，尽管它们之间存在千丝万缕的联系，但经常有人把架构与表征混淆。
首先，任何的深度学习，无论从最早的卷积神经网络（CNN），到现在的 Transformer，都有输入、网络和输出。表征其实是定义了网络的输出，架构是网络本身。
query-based Transformer 是架构，而四维的才是表征，即模型最终的输出。就像清华赵行老师团队的研究“Fast World Action Model”[6]，它可以不做视频的解码，只用隐空间来做，这相当于表征。它首先必须要有四维的表征，但 query-based Transformer 可以把它解码出来，这就是架构和表征之间的区别。
DeepTech：视频模型仍会生成违反常识的画面，但 Genie 3 已经能够实时生成可探索的交互环境，并在一定时间内保持视觉和环境一致性。如果视频生成模型继续扩大数据、参数和交互轨迹，它是否可能自然演化成真正的世界模型？
赵昊：首先 Genie 3 范式很有意思，但它也在演变中。我们团队已经做了很多有四维表征的世界模型，比如自动驾驶领域的 Omni NWM[4]，它其实就是一个六视角的 Genie 3，同时还具备四维的语义和几何表征，可以理解为四维版的 Genie 3。
另外我们还有一个工作，是视频生成框架 LightX（ICLR 2026）[7]，它是一个镜头与光照“双可控”的 4D 视频生成模型，可为固定机位视频赋予动态运镜和可调光照的全新维度。可以将它理解为一个被重新打光的 Genie 3，也可以像 Genie 3 那样在里面自由走动。
我的核心观点是：Genie 3 作为生成式模型，继续扩大数据确实可以演变成真正的世界模型，但前提是必须加上四维表征。而我们在该方向已经有了一些成果，比如 OmniNWM 和 LightX 都是四维版本的 Genie 3。所以它可以演变，但不仅仅是扩大数据，还需要引入四维表征——这正是我们要做的方向。
DeepTech：MARS 已经尝试将真实的道路重建为实例可控的仿真场，传统的仿真引擎为什么还需要世界模型？如果是依赖传统仿真，它究竟是一种新一代模拟器，还是只在传统仿真引擎外部增加了一层生成式视觉呈现？
赵昊：我觉得这个问题也比较关键。传统仿真确实能够提供显式的几何和物理规律，这点没错。但是，传统仿真引擎提供的显式几何和物理规律还不够好，它有大量的问题无法建模。
所谓的显式几何和物理规律，就是从 State t 到 State t+1 的变化。如果传统仿真能够彻底解决 State t+1 的问题，我们确实就不需要做世界模型了。但问题在于，它还不够好，有很多微妙的东西是传统仿真引擎无法刻画的。
举个例子，传统仿真一直在纠结于湍流和疲劳这些问题。如果它真的能做到，世界模型早就实现了。正是因为传统仿真引擎无法很好地建模这些物理规律，所以才需要世界模型。第五代世界模型就是把一切变成 Token，让神经网络直接去学习物理规律，目标是解决传统仿真引擎解决不了的问题。
DeepTech：机器人和自动驾驶不需要每一片树叶都符合真实规律，却非常依赖碰撞、质量、摩擦、接触、遮挡和物体恒存。那么应该怎样确定哪些误差可以容忍，哪些误差会让世界模型失去训练价值？
赵昊：这本质上是对物理规律要刻画得多细的问题。传统的仿真引擎能够仿真风洞实验或机械臂抓取，但无法刻画每一片树叶的物理规律，因为传统仿真引擎本身是受限的。
所以，我们想要做的正是能够把每一片树叶都刻画出来的世界模型。虽然很难，但这其实是一个“信仰”问题。就像在 GPT 诞生之前，可能有些研究自然语言处理（NLP）的学者可能会说，如果只做问答或实体识别，并不需要了解世界上所有的知识，只需要一些领域特定的表征就够了。
但技术发展到后来，真正胜出的恰恰是那个了解世界上所有知识的大模型，并且它降维打击了所有子任务。所以，我们认为 4D 世界模型是下一代基模，是下一个智谱、下一个 GPT，那就应该直接奔着最高的目标——去做一个能够理解所有物理规律的世界模型，然后降维打击所有机器人和自动驾驶的问题。
既然已经开始做世界模型，就应该把所有问题都解决掉，就像 GPT 把所有知识都囊括进去，再去降维打击所有子任务一样。这才是一个做基模应有的“苦涩的教训”（bitter lesson）和规模法则（Scaling Law）的思路。
数据与学习：世界模型如何获得因果和行动能力
DeepTech：语言模型可以从互联网上获得大量文本，但世界模型需要的不只是画面，还需要动作、状态变化、传感器信息和结果。在你看来，起步阶段最稀缺的是哪类数据？公开数据、真实机器人轨迹、自动驾驶数据、游戏数据和仿真数据分别承担什么作用？
赵昊：首先，公开数据、真实数据、自动驾驶数据，这些统一称为真实数据；游戏数据、仿真数据则统称为仿真数据。仿真数据之所以重要，是因为几何和速度信息无法通过人工标注获得，而仿真数据中的几何、速度信息是绝对精准的。
当然，仿真数据存在仿真到现实（Sim-to-Real）的差距，而神经渲染的一个重要用途，就是通过在真实数据上进行自监督学习，来缩小甚至消除这一差距。
正因为我们现在要做的是 4D Token，仿真数据中的四维标记在力学信息和几何信息上是绝对精准的，相比之下，真实数据中重建出来的几何和速度信息反而没有那么准确。由于仿真数据存在 Sim-to-Real 差距，我们的基本思路是：需要在真实数据上做自监督，来减少这个差距。
在所有仿真数据中，最具挑战性的是接触力学仿真。比如，我们团队做的 RTX-IPC 仿真，生成的数据就非常真实。面向灵巧手等高密度动态接触场景，较 StiffGIPC 实现平均达到了端到端加速 1.7 倍，可提供更高效的底层计算能力。
DeepTech：世界模型究竟能够替代自动驾驶中的哪一部分真实数据采集和路测？它更适合用于训练、长尾场景生成，还是安全评测？哪些数据和验证无论如何仍然必须来自真实道路？
赵昊：世界模型用于长尾场景生成、安全评测以及普通的感知训练，这些都是自动驾驶在 L2 和 L2.99 级别的典型应用，而且已经落地了。之前自动驾驶世界模型之所以没有量产，是因为这些应用太细碎，而现在自动驾驶世界模型已经开始收敛成一个大模型的业态。
现在，自动驾驶已经进入了 4D 世界模型的新时代。对于L4级别，真正有用的世界模型，是像特斯拉在 2025 年 10 月公开的“神经世界模拟器”那样，能够进入量产系统训练与闭环评测流程的模型，以及我们推出的可量产、六视角、具有四维表征的 OmniNWM。它有可能会真正改变自动驾驶和自动驾驶世界模型的格局。要进入L4的自动驾驶世界模型时代，核心思路是：先训练一个自动驾驶的世界模型基模，然后车企在此基础上做强化学习（RL），这样才能真正达到 L4。
DeepTech：当模型生成的视频、3D 场景和轨迹不断回流到训练集中，错误是否会被下一轮模型继续学习和放大？你和团队怎样判断一条合成轨迹有资格进入预训练或后训练数据？
赵昊：这也是一个有意思的现象。仿真数据的优势在于没有错误，提供的几何和物理信息绝对精准，因此其生成的模型误差不会影响利用神经渲染在真实数据上做自监督来减小 Sim-to-Real 差距。
关于 Sim-to-Real 差距和误差积累的问题，答案是一样的：我们一部分数据没有错误但有 Sim-to-Real 差距，另一部分真实数据没有 Sim-to-Real 差距但可能有错误。通过将这两种数据混合起来训练，利用自监督方式提供训练信号，持续提升我们的 4D 世界模型。
质疑、评测与无法回避的难题
DeepTech：目前团队是否在推进技术的工业落地或合作？是否有一些有趣的案例可以与我们分享？
赵昊：我们团队目前较成熟的能力和工业合作，主要集中在自动驾驶、面向3D打印的三维内容生成等无接触或弱接触场景。一旦涉及到具身智能中复杂的接触力学（contact-rich），仿真和交付难度都会显著提高。至于自动驾驶领域，刚才提到的那些 L2 到 L2.99 的场景，我们已经有工业合作的案例了。
DeepTech：你听到过对世界模型最有分量的质疑是什么，比如视频生成到底算不算是世界模型？
赵昊：我觉得视频生成肯定是世界模型中很重要的一个部分。无论是一维表征，比如 JEPA，它也会生成一些视频，虽然质量很差；二维就更不用说，本身就是生成视频的；三维、四维的我们最后也还是会渲染出一个视频来。所以，视频生成肯定是世界模型一个重要的出口，无论哪种状态表征，最后多少都会涉及到视频生成。
最有分量的质疑，我觉得就是模型误差会不断积累，这是一个事实。现在无论用哪种方式生成视频都各有千秋，但现有模型即便能够输出更长视频，也很难在超过 1 分钟的尺度上持续保持可靠的身份、几何、物理和交互一致性。
DeepTech：那如果想要做超过 1 分钟的视频，需要在哪项技术能力方面进行突破？
赵昊：说实话，还挺难的。
DeepTech：因为它不是一个单点的技术突破？
赵昊：对，它可能需要更好的卡，这需要 GPU 的突破才有可能真正实现。如果说领域内有一些讨论或者质疑，我觉得很多问题是能解决的，但真正没法解决的是，无论你用哪种方法，还是很难突破生成超过 1 分钟的视频。
当然 1 分钟以内已经很有用了，你可以用好多个 1 分钟。现在真正长程的流式世界模型，要时间很长，还是很难的。我觉得在这方面，我们的 4D 表征是一个很有前景的解决路径。
DeepTech：目前，世界模型缺少统一评测。视频质量不能说明动作预测正确，单个机器人任务的成功也不能证明拥有通用物理理解。如果理解物理世界没有一个明确目标函数，我们怎样知道模型学对了？
赵昊：目前，我们确实暂时还没有能力去做这么大规模的评测。但我想表达一个观点：判断模型是否真正理解物理世界，最终的评测标准应当与 4D 世界模型对齐。这个想法虽然有些激进，但我认为应该先把具备 4D 表征的世界模型做出来，因为它确实在理解物理世界。
之后，其他基于纯二维或一维状态的世界模型，都可以与这种显式 4D 表征进行对齐。从整个行业来看，也是应该优先推进 4D 世界模型的研究，因为 4D 表征本身就蕴含着对物理世界的深层理解，可以作为各种路径的通用对齐基准。
DeepTech：问一个大胆的预测——在几何先验、4D World Token、query-based Transformer 架构、奖励机制和跨行业基座模型这些判断中，哪一项最可能在未来三年被证明是错的？
赵昊：这个还挺有意思的。我觉得原理上前四个都是对的，唯一一个可能是错的，就是跨行业基模可能不对，在未来三年内大家也许会判断它实在是太难做了。
DeepTech：出现什么实验或市场信号，你会改变团队的技术路线？如果核心假设不成立，团队是否有 Plan B？
赵昊：首先我必须澄清一下，这里有一个可能会让人误解的地方，我们的技术路线并不是只有 4D Token。第五代多模态大模型实际上囊括了前四代的所有路线，可以说，语言、图像、视频、3D 和 4D 等多种表征自然都是它的子集，这些路线只是我通往第五代多模态大模型的一个折中方案，所以它没有 Plan B。
如果你要说出现什么市场信号我们会有所调整，也许我们在第五代、五种 Token 混合训练的时候，有一些子集已经带来巨大商业价值，我可能会优先用那些路线去做，去解决届时大家最关注的那些有意思的问题。
参考资料：
1.https://dexoravla.github.io/
2.https://microsoft.github.io/TRELLIS.2
3.https://github.com/ZZongzheng0918/automated-facial-mechanisms-synthesis
4.https://arlo0o.github.io/OmniNWM/
5.https://experts.illinois.edu/en/publications/rendering-synthetic-objects-into-legacy-photographs
6.https://huggingface.co/papers/2603.16666
7.https://github.com/tqtqliu/light-x
8.https://opendrivelab.com/RISE/
9.个人主页：https://sites.google.com/view/fromandto
运营/排版：何晨龙
注：封面由 AI 辅助生成
热门跟贴