LeCun 押注的世界模型：JEPA 为什么选择预测表征，而不是生成像素？|jepa|世界模型|多模态|时域|编码器|预测器

摘要

当视频生成模型努力把未来画得更逼真时，JEPA（Joint-Embedding Predictive Architecture）提出了一个更基础的问题：世界模型究竟应该预测什么？本文的判断是，JEPA 的价值不在于“用 latent space 替代 pixel space”这么简单，而在于把预测目标从“复原观测”改成“保留对决策有用的变化”。这是一种关于智能的工程假设：不可预测的纹理、噪声和视角变化不必进入规划回路；物体、关系、运动趋势以及动作后果才是更值得建模的变量。

V-JEPA 2 已经把这一假设推进到真实机器人：模型先利用超过 100 万小时的互联网视频学习视觉与运动表征，再利用少于 62 小时的 DROID 机器人视频进行动作条件后训练，并在未收集部署环境数据、没有任务专用训练或奖励信号的条件下，在两个实验室的 Franka 机械臂上完成基于图像目标的抓取与放置。论文V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning（https://arxiv.org/pdf/2506.09985）的结果是重要证据，但还不是“机器已经理解物理世界”的证明。本文将从表示学习、世界模型、规划控制和评估方法四个层面分析 JEPA 的真实边界，并给出我的结论：JEPA 更可能成为世界模型的“认知底座”，而不是单独取代视频生成模型的终极架构。

关键词：JEPA；世界模型；潜在空间；自监督学习；机器人规划；表征坍塌；物理推理

1. 问题不在于能否生成，而在于是否生成了有用的信息

生成式视频模型的直觉是：给定过去帧和条件，生成未来帧。它们的优势很直观——输出可以被人观看，也可以作为模拟环境。但像素空间的预测有一个结构性困难：真实世界中有大量细节本来就无法从当前观测唯一确定。反射、高频纹理、微小光照变化和遮挡后的外观，可能有许多同样合理的未来。

如果训练损失要求模型对这些细节作出确定预测，模型就会把大量容量用于解释高熵、低决策价值的内容。更麻烦的是，视频“看起来合理”并不等于满足动力学约束：画面可以连续，物体却可能凭空改变质量、接触关系或运动方向。换言之，视觉逼真度是观测分布上的指标，不是行动后果上的保证。

JEPA 的核心赌注由此产生：预测世界状态的表征，而不是预测世界状态的全部像素。对一个需要抓杯子的机器人而言，“杯子的几何位置、可接触区域和运动趋势”通常比“杯子表面的每一道高光”更有用。好的表示不是把信息保存得越多越好，而是保存那些在时间上稳定、在动作下可预测、对任务结果敏感的变量。

这并不意味着像素信息永远无用。导航、精细插入、织物操作和安全监控仍可能需要高分辨率观测。因此，“舍弃像素”应理解为不让像素级重建主导世界模型的训练目标，而不是声称系统永远不需要视觉细节。

2. JEPA 的技术机制：让预测目标承担归纳偏置

I-JEPA 给出了最清晰的基本形式：从一张图像中取一个信息充分的可见上下文，由 context encoder 编码；再由 predictor 根据上下文和目标位置，预测被遮挡区域的表征；target encoder 对完整图像中的目标区域编码，作为停止梯度的参照。优化的是两个 embedding 之间的距离，而不是像素重建误差。Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture（https://arxiv.org/abs/2301.08243）

可以将其简化写成：

其中是在线编码器，是预测器，是目标编码器，表示目标位置，表示停止梯度。早期实现通常用在线编码器的指数移动平均更新目标编码器。

这个结构有三点实质意义。

第一，它把“学什么”交给了掩码策略和时间结构。I-JEPA 论文特别强调，目标块需要足够大、上下文需要空间上足够分散；否则任务会退化成局部纹理补全。第二，多个目标块可以并行预测，避免逐 token 生成。第三，它不依赖 SimCLR/CLIP 式的负样本区分，也不要求手工设计大量数据增强，学习信号来自上下文对目标表征的可预测性。

不过，不能把这些优点表述成“JEPA 没有自回归”。更准确的说法是：JEPA 的训练目标不要求在像素空间逐步生成；视频世界模型在时间滚动和动作规划时，仍可以递推预测 latent state。V-JEPA 2-AC 事实上就是在预训练视觉表征之上学习动作条件的未来表征，并通过规划器评估候选动作序列。

图1 V-JEPA 2架构图

为了定位 JEPA，可以采用一份 2026 年综述提出的六类工作性分类：隐状态循环模型、价值等价模型、自回归 token 模型、扩散/生成帧模型、JEPA，以及视频生成基础模型。综述介绍： https://www.chefrobotics.ai/post/world-models-and-world-action-models-an-accessible-and-comprehensive-survey

这六类并不互斥。Dreamer 等系统可以使用 Transformer；视频生成模型也可以维护 latent state；JEPA 规划同样可以接入 MPC、CEM 或策略网络。真正有解释力的比较维度不是模型名字，而是以下三个问题：

表示什么：像素、离散 token、连续 latent、对象状态，还是只保留价值函数？

预测什么：下一观测、下一隐状态、动作后果，还是实现目标所需的价值？

如何用于行动：递推 rollout、搜索候选轨迹、直接输出动作，还是三者混合？

因此，生成模型与 JEPA 的关系不是“一个正确、一个错误”，而是预测目标不同。生成模型擅长提供可视化的多模态未来；JEPA 擅长在较紧凑的空间中评估状态变化。前者更像渲染器，后者更像决策接口。未来系统很可能把二者组合起来：用 JEPA 做快速、稳健的规划，用生成模型在需要时展开细节或生成训练场景。

图2 LeWorldModel Training Pipeline.

当目标也是可学习的 embedding 时，存在一个退化解：编码器把所有输入映射到同一个向量，预测器也输出同一个向量，预测损失可以很低，但表示没有信息。像素重建天然抑制了这种解，因为常数输出无法重建多样的图像；JEPA 则必须显式处理它。

这也是理解 JEPA 工程进展的关键。EMA 教师、停止梯度、预测器非对称结构等机制，本质上是在制造一个稳定的学习参照；LeJEPA 则尝试用 SIGReg（各向同性高斯正则）从分布层面约束表示；LeWorldModel （https://arxiv.org/pdf/2603.19312）进一步声称，仅用下一 embedding 预测损失和高斯潜变量正则，就能从原始像素端到端稳定训练。该工作报告约 1500 万参数、单 GPU 数小时可训练，并在若干控制任务上实现最高 48 倍规划加速。

我的看法是：LeWorldModel 的最大意义不是“两个损失项已经解决了 JEPA”，而是把问题从经验技巧推进到可检验的设计假设。但“高斯分布”只是在统计上防止所有样本挤到一个点，它不自动保证潜变量具有对象边界、因果结构或可组合性。防坍塌是必要条件，不是语义正确性的充分条件。未来必须同时评估表示是否覆盖了任务相关因素、是否保留了不确定性，以及预测误差是否会在长时域规划中累积。

5. 从理解到控制：V-JEPA 2 的突破与限制

V-JEPA 2 的贡献可以拆成两层：第一层是动作无关的视频预训练，学习运动理解、动作预期和场景表征；第二层是少量机器人视频上的动作条件后训练，使模型能够预测“执行某个动作之后，潜在世界状态会如何变化”。Meta 官方将其描述为由 encoder 和 predictor 组成的自监督世界模型，并公开了模型、代码和相关资源。Meta 技术介绍（https://ai.meta.com/blog/v-jepa-2-world-model-benchmarks/）

这条路线体现了一个重要的数据经济学命题：互联网视频提供“世界如何运动”的广泛先验，机器人轨迹提供“动作如何改变世界”的接口。二者不能完全互相替代——网络视频通常缺少精确动作、力反馈和机器人本体状态——但可以通过预训练与后训练分工，显著减少真实机器人数据需求。

V-JEPA 2 的控制实验仍依赖 CEM 等规划方法：采样候选动作序列，在 latent world model 中滚动预测，再选择最接近图像目标的轨迹。这说明 latent prediction 并没有消灭规划计算，只是把规划从昂贵的像素模拟转移到更紧凑的表征空间。这里有一个必须正视的限制：如果世界模型存在系统性偏差，搜索器可能会“利用模型漏洞”，选择在模型中看似有效、真实环境中却失败的动作。

V-JEPA 2.1 的方向则更偏向表示质量。它引入 dense predictive loss，让可见和遮挡 token 都参与训练，并结合深层自监督和图像/视频 tokenizer；论文报告其在物体交互预期、深度、导航等任务上有明显提升，并在真实机器人抓取成功率上较 V-JEPA 2-AC 提升约 20 个百分点。V-JEPA 2.1 论文（https://arxiv.org/pdf/2603.14482）

这提示我们一个常被忽略的事实：世界模型的瓶颈未必首先是“预测器不够大”，也可能是表示没有足够的空间结构、时间一致性和接触信息。对机器人而言，dense feature 不是锦上添花，而是把“这个物体在哪里”转化为“哪些局部区域会影响动作”的基础。

图3：共享编码器 INTACT 训练与循环控制

基于世界模型的传统闭环通常是：观测 → 预测多个未来 → 搜索动作 → 执行动作。它具有可解释性和一定的安全优势，但采样数量、预测步数和模型调用次数会共同推高延迟。

萝卜派对（RoboParty）团队的INTACT-JEPA 的核心主张是学习一个从“意图”到“动作”的共享条件动作算子：已发生的局部变化可以作为局部意图，目标状态可以作为目标意图，两者在相同输入语法下训练，使系统部署时直接从目标表征预测动作，减少甚至取消搜索。论文（https://arxiv.org/pdf/2607.26056）

如果其报告的四个任务 95.61% 宏观成功率和 3.9–4.8 ms 延迟能够在更多任务、更多机器人和更严格的分布外设置中复现，那么它的意义会超出一次 benchmark 提升：世界模型将从“预测器 + 外部优化器”变成“可学习的意图—动作接口”。

但直接动作预测也带来新的风险。搜索慢，通常意味着计算贵；直接预测快，通常意味着把不确定性和纠错责任压缩进策略本身。我的判断是，零搜索并不应成为绝对目标。更可靠的系统应采用分层结构：常见状态由直接策略快速处理，低置信度或高风险状态再退回 latent rollout 与搜索。这相当于把搜索变成一种“按需调用的计算性安全阀”。

7. 我的核心判断：JEPA 是认知底座，不是生成模型的替代品

第一，JEPA 的真正创新是价值相关的预测。它试图让表示空间接近控制问题的充分统计量：保留影响未来决策的变量，压低与行动无关的观测噪声。这个目标比单纯追求压缩更强，因为压缩本身可能丢掉关键的稀有事件；JEPA 必须证明它丢弃的是冗余，而不是风险信号。

第二，JEPA 的成功标准应从“embedding loss 下降”转向长时域决策质量。短时预测准确并不保证长期规划有效；一个微小的接触误差经过多步 rollout 可能变成完全错误的动作。评价体系至少应包括：闭环成功率、长时域误差增长、不确定性校准、干扰/遮挡鲁棒性、模型被规划器利用的程度，以及真实部署中的安全回退能力。

第三，JEPA 与生成模型的竞争是错位的。需要内容创作、可视化模拟、数据合成时，像素或视频生成仍有不可替代的价值；需要低延迟预测、状态估计、规划和控制时，latent predictive model 更合适。真正有潜力的架构不是二选一，而是让不同模型承担不同职责：JEPA 负责“哪些未来值得考虑”，生成模型负责“这些未来长什么样”，语言模型负责“目标和约束如何表达”。

第四，物理理解仍是未解问题。潜变量可以编码重力、接触和运动方向等统计规律，但这不等于模型学到了可迁移、可组合、可干预的物理因果模型。LeWorldModel 对物理量的 probing 和对不合理事件的 surprise evaluation 是积极信号，却不能替代系统性的干预实验。真正的考验是：当物体材质、质量、视角和动作分布改变时，模型是否仍能预测反事实后果。

8. 结语：问题变成了“什么值得预测”

JEPA 不是一句“像人脑一样思考”的口号，而是一项可以被实验反驳的工程主张：对智能行为而言，预测抽象表征可能比预测全部像素更有效。I-JEPA 证明了图像语义表征可以在非生成目标下学习；V-JEPA 2 把这条路线推向视频理解和真实机器人规划；LeWorldModel 试图降低端到端训练门槛；V-JEPA 2.1 和 INTACT-JEPA 则分别从 dense representation 与 search-free control 继续推进。

我对它的最终判断是：JEPA 不会因为“不生成像素”就自动成为更高级的世界模型，但它迫使整个领域正视一个常被生成式叙事遮蔽的问题——可视化的未来不一定是可执行的未来。接下来五年的关键，不是哪个模型能生成最逼真的世界，而是哪个模型能在不确定、分布外、长时域的真实环境中，持续做出更少后悔的行动。

参考资料

I-JEPA：Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

V-JEPA 2：Self-Supervised Video Models Enable Understanding, Prediction and Planning

Meta：Introducing the V-JEPA 2 world model and new benchmarks for physical reasoning

V-JEPA 2.1：Unlocking Dense Features in Video Self-Supervised Learning

LeWorldModel：Stable End-to-End JEPA from Pixels

INTACT：Isomorphic Intent-to-Action Learning for Search-Free World Models

Understanding World or Predicting Future? A Comprehensive Survey of World Models

Mbot具身智能实验室

让尖端科技触手可及，人人皆可探索未来