你有没有玩过那种走迷宫的游戏，明明感觉这条路离终点看起来最近，走进去才发现是死路。而旁边那条看起来绕远的路，反而能通到终点。
机器人在做决策的时候，经常也会遇到这种情况。这篇来自港科大（广州）团队的论文，讲的就是这样一个问题，而且他们给这个现象起了个专业的名字，叫做决策局部预测差距。
**核心问题：预测得准，不代表选得对**
先说说背景。现在机器人做决策，很多都靠一种叫做世界模型的东西。
世界模型*：一种能够预测"如果我这样做，未来会发生什么"的AI系统，它不直接在像素层面预测视频画面，而是在一个压缩后的"潜在空间"里做预测，速度更快也更聚焦于关键信息。
具体到这篇论文关注的这类模型，叫做联合嵌入预测架构，英文缩写JEPA。
JEPA*：Joint-Embedding Predictive Architecture的缩写，一种自监督学习架构，核心思路是不重建原始像素，而是在学到的表示空间里预测目标的嵌入向量，Yann LeCun团队提出并持续推动这个方向。
这类模型的工作方式是这样的：给它一个当前观察和一个目标状态，它会把好几个候选动作方案都在脑子里"预演"一遍，每个方案预演出一个"未来的样子"，然后拿这些"未来的样子"跟目标状态比一比，谁的潜在空间距离最近，就选谁。
听起来很合理对吧？问题就出在这里。
研究团队做了个审计实验，在PushT任务（一个推方块到目标位置的经典机器人控制任务）上，测了两个主流模型：LeWM和TD-JEPA。他们发现，当把所有63个候选动作都拿来看时，模型预测的距离和实际执行结果的相关性还挺高，LeWM能到0.90，TD-JEPA能到0.80。这说明模型整体上"看得懂"哪些动作大致靠谱。
**但当你把范围缩小到模型最看好的那前4个候选动作时，这个相关性直接崩了**
LeWM从0.90掉到0.11，TD-JEPA从0.80掉到0.13。换句话说，在真正要做决策的那几个候选方案之间，模型的预测几乎失去了区分能力，跟瞎猜差不多了。
更具体一点，论文里给了个真实案例：候选动作A的预测目标距离是0.2027，候选动作B是0.2167。数字上A更接近目标，听起来A应该更靠谱。但实际执行结果是，A失败了，B成功了。审计的96个起始状态里，两个模型都各自出现了8次这种"预测更近，实际更差"的翻车情况。
这就好比你去相亲，两个候选人，一个在简历上写的条件看起来更匹配你的择偶标准，另一个条件写得稍微差一点。结果真正处下来，条件看起来差一点的那位反而处得更好。如果你完全依赖简历打分来做决定，你会一次又一次选错人，因为简历上的"匹配度"和真实相处的"合适度"根本不是一回事。如果不去正视这个差距，继续迷信那个打分系统，你会一直在关键的、最难抉择的那几个候选人之间反复踩坑，而这些坑恰恰是最影响你人生走向的选择。
这个发现的分量其实不小。因为这意味着，一个整体预测能力很强的模型，在最关键的决策节点上，可能反而是最不可靠的。这不是模型学得不够好，而是模型学习的目标和真正要解决的问题之间，存在一个结构性的错位。
**D-JEPA的解法：让模型学会候选方案之间的"相对关系"**
针对这个问题，研究团队提出了D-JEPA，全称是Decision-aligned Latent World Model，也就是决策对齐的潜在世界模型。
它的核心思路不是重新训练一个全新的预测模型，而是在已经训练好的预测模型基础上，加一层专门学习决策关系的模块。
这个模块是怎么工作的呢？
对于每一个候选动作，D-JEPA会提取两类信息。第一类是密集的方向性描述符，简单说就是这个候选方案的预测终点和目标之间，在潜在空间里的具体差异向量，这个向量保留了原始预测模型的几何细节。第二类是序数坐标，也就是这个候选方案在整个候选集合里，按照原始预测代价排出来的相对名次，比如排第几名。
排序信息*：论文中称为ordinal coordinate，它不关心具体数值差多少，只关心相对顺序，好处是不同模型给出的预测代价哪怕数值范围完全不一样，排名这个尺度是通用的，可以拿来直接比较和融合。
这两类信息会被送进一个叫做集合变换器的结构里处理。
排列等变的意思是，不管你把候选方案的顺序打乱重排，模型给每个方案打的分数都会跟着一起换位置，但相对关系不变。这保证了模型学到的是候选方案之间真正的关系，而不是依赖它们出现的先后顺序这种无关信息。
处理完之后，模型会给每个候选方案打一个修正分数，这个修正量是有严格上限的，论文里设定的界限是0.2。这个界限非常关键，它意味着模型不能天马行空地把排序完全推翻重来，只能在一个可控范围内微调。
这里其实藏着一个很聪明的设计权衡。论文用数学证明了一个性质：如果两个候选方案原始基础分数的差距超过这个界限的两倍，那修正模块绝对翻不了盘，谁本来靠前还是谁靠前。只有分数差距足够接近的那些候选方案，才有可能被重新排序。
这就好比公司年底评优秀员工，考核委员会不能把排名垫底的员工直接提到第一名，那样太荒唐也没有说服力。但如果两个员工的考核分数非常接近，只差零点几分，委员会完全可以结合一些考核表里没体现出来的实际贡献，微调一下最终名次。如果不设这个界限，让修正模块可以无限度地改写排序，那模型很可能会过拟合到训练数据里的偶然巧合，把本来预测得很靠谱的方案也搅乱了，这样反而更危险。设了界限，就是把修正权力关进笼子里，只让它去纠正真正模糊不清、需要重新判断的那些边界情况。
训练这个修正模块用的数据，来自于真实执行的结果。也就是说，把候选动作实际拿去执行一遍，记录下成功还是失败，用这些结果反过来教模型，哪些候选方案之间的相对关系是真正重要的。这个思路论文里叫做候选结果监督。
**多信息源融合：不同模型的判断怎么合并起来**
D-JEPA还有一个巧妙之处，就是它不局限于只用一个预测模型的信息。
论文里同时利用了LeWM和TD-JEPA两个模型的预测证据，把它们的方向性描述符和排序信息拼在一起，形成一个386维的联合特征，再送进那个集合变换器里处理。
为什么要这么做？因为不同的预测模型，它们训练时用的目标函数、架构细节都不一样，各自捕捉到的信息可能是互补的。有的模型可能对短期动作变化更敏感，有的可能对长期目标对齐更准。单独用一个，总会漏掉一些线索。
这就像医生看病，有时候需要同时参考CT片子和验血报告，两种检查手段关注的身体信号完全不同，CT看结构病变，验血看代谢指标。如果只看CT不看验血，可能会漏掉一些血液指标异常但结构上还没表现出来的早期问题。同理，如果只信任单一预测模型的判断，也可能会漏掉另一个模型能捕捉到的关键信号。论文的实验也验证了这一点，单独用LeWM的描述符，成功率是84.38%，单独用TD-JEPA是83.59%，但两者融合起来用同样的关系学习结构，成功率跳到了93.75%，提升了将近10个百分点。
这个融合思路还被进一步扩展，加入了另外两个模型JEPA-WM和DINO-WM的排序信息，做成了四模型融合版本。
DINO-WM*：一种利用预训练视觉特征来做世界模型的方法，不需要从头学习视觉表示，直接复用现成的视觉骨干网络。
论文用了一个叫做序数接口的机制来做这种跨模型融合，因为不同模型的密集特征在几何结构上可能完全不兼容，直接拼起来意义不大，但排序信息是尺度无关的，天然适合做这种异构证据的桥梁。这就好比不同国家的货币汇率各不相同，你没法直接把日元数额和美元数额相加，但如果换算成"购买力排名"这种相对指标，就可以放在一起比较了。
**预测器局部微调：只调最后一小块，防止整体跑偏**
除了关系学习模块，D-JEPA还引入了一种叫做受限预测器适配的机制，英文叫predictive plasticity。
这个机制只对TD-JEPA预测器的最后一个模块和最终的投影层做微调，其余部分全部冻结不动。
为什么要这么小心翼翼？因为如果让整个预测网络都根据决策结果自由调整，很可能会把原本学得很好的通用预测能力给破坏掉，出现所谓的灾难性遗忘。论文里专门设计了几种约束来防止这种情况，包括保持教师模型的轨迹分布不变、保持决策边界之外的排序关系不变、以及一个基于Kendall-τ的排序保持项。
这就像给一栋老房子做局部装修，你想改善厨房的采光，但不能把承重墙全拆了重新设计整栋房子的结构。你只动那个最需要调整的角落，其他地方保持原样，这样既解决了具体问题，又不会让整栋楼的稳定性受影响。
这个微调之后产生的结果，会作为一个补充提案，跟关系学习模块给出的默认选择做比较，通过一个叫做校准门控的机制决定最终听谁的。只有当微调提案的优势足够明显、超过某个校准阈值时，系统才会采用它，否则还是用关系学习模块的默认判断。
**把决策结构直接写回潜在空间几何**
D-JEPA还做了一件挺有意思的事情，就是把学到的决策关系，直接体现在未来预测的潜在表示本身里面，而不只是停留在一个额外的打分层面上。
论文提出了两种互补的机制来实现这一点。
第一种叫做有界时序迁移，用在DMC-Reacher这类任务上，两个模型的潜在空间维度一致的情况下适用。它会学习一个带符号的系数，控制着把一个模型的未来轨迹朝另一个模型的方向拉动多少，这个系数被限制在正负0.1的范围内，而且是随时间步变化的。
第二种叫做精确序数实现，用在PushT任务上。它的做法是，把关系学习模块给出的最终排名，直接转换成候选方案终点在潜在空间里离目标的具体距离。排名越靠前，这个距离就设置得越小。论文用数学证明了这个转换是精确可逆的，排名为π的候选方案，其潜在空间的均方距离恰好是π除以候选总数加一的平方，这个公式保证了排序完全被保留下来。
这个设计解决了一个很实际的部署问题。如果决策关系只体现在一个额外的打分模块里，那部署的时候你就得同时维护预测模型和这个打分模块两套系统。但如果把决策关系直接写回潜在几何本身，那部署的时候只需要用最朴素的"离目标最近就选它"这个原生接口，就能自动拿到经过对齐的最优选择，不需要额外的推理步骤。
论文的验证结果显示，这种写回方式能做到100%精确恢复关系学习模块给出的动作选择和候选排名，延迟也差不多，34毫秒左右，跟关系读出的35毫秒基本持平。
**实验结果：跨越多个任务场景的验证**
D-JEPA不是只在一个简单任务上测试，论文覆盖了相当广的场景。
在核心的三个基准任务上，PushT成功率达到87.89%，DMC-Reacher达到93.75%，颗粒物操控任务在严格阈值下的成功率也有明显提升。作为对比，原生的LeWM是83.59%，TD-JEPA只有76.95%，D-JEPA比这两个基线分别高出4.3和10.94个百分点。
在RoboTwin这个双臂机器人操作基准上，涉及抓取滚轮、面包放入平底锅、物体放入柜子、积木交接这四类任务，D-JEPA把预训练VLA模型的平均成功率从61.72%提升到76.76%，提升了15.04个百分点。
VLA*：Vision-Language-Action模型的缩写，一种能同时理解视觉输入、语言指令并输出机器人动作的模型。
在真实物理机器人PiPER上，做真实的PushT任务和双方块堆叠任务，D-JEPA把成功率从64%提升到81%，提升了17个百分点。论文里配了一张图，展示了一次真实的抓取失败与成功对比，原生VLA在第400步还没抓稳，最后失败，而D-JEPA在第86步就成功完成了抓取，这个对比相当直观。
在自动驾驶场景的轨迹选择上，论文用了Drive-JEPA提供的候选轨迹，在七个高难度驾驶场景里，D-JEPA把平均PDMS分数从57.36提升到95.34，其中有一个场景原来是0分，用了D-JEPA之后直接冲到80分。
PDMS*：一种驾驶轨迹质量的综合评分指标，考虑了碰撞、舒适性、进展速度等多个维度。
论文还专门测试了在未见过的物体形状和视觉外观变化下的表现，比如换成没见过的I形、小T形、方形物体，或者加入模糊、噪声、变暗、改变颜色等视觉干扰。D-JEPA在所有这些变化条件下都保持了正向提升，其中物体颜色改变这个条件下提升最明显，从原生选择的24%提升到D-JEPA的54%，提升了30个百分点。
值得说一下的是消融实验的结果。论文把D-JEPA拆开来看每个组件单独的贡献，发现关系学习模块本身是最强的单一改进项，把成功率从76.95%提升到87.11%，提升了10.16个百分点。预测器微调单独用只能提升2.74个百分点。而把两者结合起来的校准组合，能再往上推一点，达到87.89%。
下面这张表格汇总了核心任务上的关键成绩：
| 方法 | PushT成功率 | Reacher成功率 | RoboTwin平均提升 | 物理机器人平均提升 |
| 原生LeWM | 83.59% | 86.72% | - | - |
| 原生TD-JEPA | 76.95% | 68.75% | - | - |
| 四模型融合 | 85.94% | 82.03% | - | - |
| **D-JEPA** | **87.89%** | **93.75%** | **+15.04pp** | **+17pp** |
**写在后面**
读完这篇论文，最让我觉得意外的一点，其实不是D-JEPA提出的那些技术细节，而是论文一开头做的那个诊断实验本身。
一个模型在全体候选方案上表现出0.9的相关性，听起来已经相当不错了，如果你只看这一个数字，你会觉得这个模型很可靠。但缩小到最关键的前4个候选，相关性直接跌到0.11，这个反差揭示的是一个更普遍的现象：我们习惯用整体指标去评价一个系统的好坏，但真正决定成败的往往只是那一小撮最接近临界点的选择。
这让我想到考试排名这件事。一个班级整体的排名相关性可能很高，学得好的普遍名次靠前，学得差的普遍靠后。但真正决定谁能进重点班的，往往是那几个分数咬得很紧的边缘学生，他们之间的排序波动可能完全取决于一道题的偶然发挥，而不是真实水平的差距。用来衡量"整体教学质量"的那套评价体系，未必能公平地区分出这几个边缘案例该怎么排。
论文里还有一个细节我觉得值得单独拿出来说，就是那个2ε的数学证明。研究者没有满足于"我们加了一个修正模块，效果变好了"这种描述，而是明确证明了这个修正模块的能力边界在哪里，什么情况下它绝对不会误判，什么情况下才可能生效。这种把不确定性关进一个可证明的笼子里的做法，我觉得比单纯堆砌一个更复杂的网络结构要更值得欣赏。很多时候，让一个系统变得可信，靠的不是让它变得更强大，而是让它在能力有限的地方，诚实地知道自己的边界在哪。
论文没有解决的问题也很明显。所有这些候选动作，本质上都是从一个固定的候选池里选出来的，D-JEPA教会模型的是"在这些给定选项里，哪个更靠谱"，而不是"生成一个全新的、候选池里没有的更好方案"。如果候选池本身就漏掉了真正的最优解，再精妙的关系学习也无能为力。这大概是下一步值得追问的方向，怎么让模型不仅会挑，还能自己想出更好的候选来挑。
Q&A
Q1：D-JEPA是什么？
A：D-JEPA是一种决策对齐的潜在世界模型，它通过学习候选未来方案之间的相对关系，来修正预测模型在关键决策节点上给出的误导性距离判断，从而提升机器人动作选择的准确性。
Q2：D-JEPA解决了什么核心问题？
A：它解决的是决策局部预测差距问题，也就是预测模型整体上看起来很准，但在最接近执行的那几个候选方案之间，预测距离和实际执行结果的相关性会大幅下降，甚至出现预测更近但实际失败的情况。
Q3：D-JEPA在实际测试中效果如何？
A：在PushT任务上成功率达到87.89%，Reacher任务达到93.75%，RoboTwin机器人操作任务平均提升15.04个百分点，真实物理机器人任务提升17个百分点，自动驾驶轨迹选择场景平均分从57.36提升到95.34。
热门跟贴