这项由上海交通大学与蚂蚁集团联合完成的研究，以预印本形式于2026年7月1日发布在arXiv平台，论文编号为arXiv:2607.00461，题为《Multimodal Continuous Reasoning via Asymmetric Mutual Variational Learning》。有兴趣深入了解技术细节的读者可通过该编号查阅原文。
一、从"强迫用文字描述颜色"说起
假设你是一位画家，擅长用色彩和线条来思考和表达。有一天，有人告诉你：从今以后，你必须先把脑子里所有的视觉想法翻译成文字描述，再根据文字来作画。你会发现，无论你怎么努力，文字永远无法完整传达那种对颜色渐变、空间层次的直觉感受——信息在翻译过程中不可避免地流失了。
当今的多模态大语言模型（可以理解图片和文字的AI）面临的正是这种困境，研究团队将其称为"语言空间瓶颈"。这些AI在处理图片时，被迫把所有中间推理步骤都压缩成一串文字——哪怕这些推理步骤本质上是空间性的、连续性的、高维度的视觉感知。就像那位画家被迫用文字思考一样，信息的流失让AI在做复杂视觉判断时容易产生"幻觉"（说出一些图片里根本没有的东西），或者推理逻辑从视觉内容上飘离。
研究团队提出的解决方案，叫做"非对称互学习变分学习"（Asymmetric Mutual Variational Learning，简称AMVL）。核心思路是：让AI直接在一个连续的、类似内心独白的隐藏空间里进行推理，而不是把推理过程翻译成文字。这个隐藏空间承载的信息密度远比文字高得多，就像直接用颜料在脑海中调色，而不是先把颜色写成"红色加一点蓝色再加两滴白色"。
二、一个隐藏的致命弱点：考试时的"参考答案作弊"
在探讨AMVL的核心机制之前，必须先理解一个让研究团队花费大量精力去解决的根本性问题，因为正是这个问题导致此前所有类似尝试都不够理想。
设想这样一个场景：学校训练学生解题能力，让他们用两种角色练习——一种是"考试时的真实状态"（只能看到题目），另一种是"对答案时的状态"（可以同时看到题目和标准答案）。训练的逻辑是：让"考试状态"学会模仿"对答案状态"的思维方式。
问题来了：当学生处于"对答案状态"时，他完全可以偷懒——直接把答案背下来，而不是真正理解解题过程。这种"答案依赖"在训练阶段完全不会暴露，因为他确实每次都能模拟出"正确的推理轨迹"。但到了真正考试时，没有答案可看，这种依赖答案的推理方式彻底失效了。
这正是此前所有"连续潜在推理"方法的致命缺陷。在技术语言中，这被称为"答案泄漏"（answer leakage）：AI在训练时用来推断隐藏推理状态的"后验分布"（可以理解为"已知答案时的推理模式"），会偷偷依赖答案走捷径。然后，训练过程又要求"先验分布"（"只看题目时的推理模式"）去模仿这个被污染的推理模式。结果，真正推理时使用的"先验分布"，带着那些答案相关的偏见，却面对一个没有答案的世界，完全找不到北。
研究团队为这个现象建立了严格的数学理论。他们将后验分布的均值分解为两部分：一部分是真正基于输入内容的推理，另一部分是被答案扭曲的偏移量。他们在论文中用严密的数学证明了：标准的ELBO训练方法（一种常用的变分推理训练方式）会让先验分布吸收这些答案相关偏移量的平均值，从而被"污染"。这种污染的程度可以用一个明确的数学量来衡量，研究团队称之为"先验污染量"，其大小正比于答案带来的平均偏移向量的模长。
三、破解作弊的双重约束：AMVL如何从两侧收紧缰绳
理解了"考场作弊"的问题之后，AMVL的设计思路就非常直观了。既然问题出在"对答案的推理模式偷懒依赖答案"，那就从两个方向同时施加约束：一方面让"考试状态"的推理向"对答案状态"的推理靠拢，另一方面也要限制"对答案状态"的推理不能跑得太远，必须保持在"考试状态"能够触达的范围内。
AMVL使用了两个相互配合的训练信号，各自承担不同的任务，研究团队形象地称之为"双向校准"。
第一个信号叫做"前向KL对齐"，作用于"先验分布"（考试状态的推理模式）。它的任务是：看看"对答案状态"的推理去了哪里，然后把"考试状态"的推理拉过去。这就像老师告诉考生："你解题时的思路方向，应该和你对完答案之后理解的方向一致。"在技术实现中，使用了"停止梯度"技巧（stop-gradient），确保这个信号只影响先验分布的参数，而不会反过来影响后验分布——单纯是先验在学习，后验在这里是固定的老师。
第二个信号叫做"反向KL正则化"，作用方向恰好相反，它约束的是"后验分布"（对答案状态的推理模式）。它的任务是：不让"对答案状态"的推理飘到"考试状态"完全够不到的地方。换句话说，对答案时可以比考试时思路更开阔，但不能开阔到另一个次元。同样使用了停止梯度，确保这个信号只约束后验分布，不干涉先验。
在数学上，这两个信号都具有"质量覆盖"特性：优化的目标是让一个分布去覆盖另一个分布的支撑范围，而不是简单地对准某个最高点。前向KL迫使先验去覆盖后验的整个分布范围，后向KL迫使后验去覆盖先验的整个分布范围。两者共同作用，建立起一种"互相覆盖"的动态平衡，让这两种推理模式不会离彼此太远。
研究团队在论文中用严格的数学（命题C.4及其证明）证明了：在局部线性响应模型的假设下，AMVL的"答案泄漏系数"与标准ELBO训练的泄漏系数之间满足一个精确的比值关系——AMVL的泄漏系数等于ELBO泄漏系数除以（1加上一个正数），这意味着只要反向KL的权重大于零，先验的污染程度必然小于单纯的ELBO训练。而且这个改善程度随着反向KL权重增大而单调递增，当后验越"自信"（方差越小）时，反向KL的纠偏效果越强——这是一个非常合理的性质，因为后验越自信意味着它越依赖答案走捷径，这时候反向KL的约束力恰好也越强。
四、把这套机制装进一个真实的AI模型里
理论再美好，也需要落地实现。研究团队将AMVL嵌入了一个基于Qwen2.5-VL-7B-Instruct的实际多模态大语言模型中，整个改造过程相当克制——只增加了几个轻量级的组件，没有重新设计整个模型架构。
具体做法是：在输入文本和目标答案之间，插入k个特殊的"占位符"标记（叫做latent标记）。这些占位符就像一排空白格子，专门为AI的连续推理状态预留了位置。模型在处理这些格子时，会产生对应的隐藏状态向量，这些向量就被用来参数化先验分布和后验分布——两者都被建模为"对角高斯分布"，也就是说每个潜在变量都是一个均值加上方差的简单概率分布，彼此之间相互独立。
负责把隐藏状态向量转化为分布参数的组件，被设计为一个"LLM原生变分头"：它使用了与底层语言模型完全相同的技术组件（RMSNorm归一化和SwiGLU激活函数），保持了架构上的一致性，并且只增加了极少的参数量。同一个变分头被先验和后验共用，区别仅在于输入模型的上下文是否包含目标答案。
采样潜在变量时使用了标准的"重参数化技巧"：从均值加上噪声乘以标准差来采样，这样整个过程对参数可微，梯度可以顺利反传。采样出来的潜在变量经过一个"潜在注入器"映射回模型的隐藏维度，替换掉占位符位置原来的嵌入，然后模型基于这些连续推理状态来生成最终答案。
训练时，潜在变量从后验分布采样（因为知道答案），答案的生成损失基于这些后验样本计算；推理时，潜在变量从先验分布采样（不知道答案），依赖双向校准确保这个先验能产生有效的推理状态。
对角高斯分布的另一个好处是：前向KL和反向KL都有封闭形式的解析表达式，不需要蒙特卡洛采样来估计，计算高效且稳定。具体公式是对每个维度分别计算方差比值项、均值差的加权项以及对数行列式项之和，所有项都可以直接代入均值和对数方差向量来计算。
默认配置中，潜在槽数量k设为8，每个潜在变量的维度d设为512，这两个超参数的选择经过了专门的消融实验验证。
五、训练的稳定性：让两侧约束不相互打架
双向约束听起来美好，但训练时如果两侧同时发力，可能导致不稳定。研究团队设计了一套精心的调度策略来解决这个问题，被称为"非对称KL调度"。
前向KL的权重从训练开始就逐步线性增加，在前2000步内从0爬升到1.0，让先验先有机会开始追踪后验、建立基本的校准。反向KL的权重则延迟启动——在前1000步内保持为0，之后再花2000步线性增长到0.5（一个相对较小的值）。这种"先让先验校准，再约束后验"的策略，避免了在先验还很弱的时候就强行约束后验导致的"过度正则化"。
整体训练目标是三项损失的加权和：标准的下一个词预测损失（保证模型能正确生成答案）、前向KL损失（校准先验）和反向KL损失（正则化后验）。视觉编码器在整个训练过程中保持冻结，语言主干和变分模块联合优化，使用AdamW优化器、bf16混合精度、梯度检查点和余弦学习率调度，整个训练在16块NVIDIA A100 GPU上运行约20小时。
训练数据来自四个互补的多模态推理数据集：Visual-CoT（提供逐步分解的多模态推理样本）、ReFocus（强调精细空间和区域层面的视觉推理）、CogCoM（专注于复杂的多跳演绎推理）和Zebra-CoT（强化关系性和组合性推理），合起来覆盖了从细粒度视觉定位到复杂多步逻辑推断的广泛认知任务谱系。
六、实验结果：在哪些任务上赢得多明显
研究团队在三类基准上系统评测了AMVL，对应三种不同的测试维度。
第一类是细粒度视觉感知，使用了V*、HRBench4K和HRBench8K三个基准。这类任务考察AI从高分辨率图片中定位和识别细节的能力——比如在一张密集的街景图中找到某个特定物体的位置，或者判断两张图片中的细微差异。在这类任务上，AMVL的平均得分为74.97，相比基础的Qwen2.5-VL-7B模型提升了5.57分。其中在V*上提升了7.85分，在HRBench8K上提升了4.75分，表现超过了所有其他基于同一底座模型的方法，包括使用像素级推理的DeepEyes和PixelReasoner，以及其他连续潜在推理方法LVR、Mull-Tokens和Monet。
第二类是复杂视觉推理，使用了BLINK基准，这是一个包含多种需要深度视觉认知的任务集合，比如IQ测试图形、拼图推理、艺术风格识别、多视角理解等。AMVL在BLINK上的平均提升幅度高达10.83分，远超其他方法。其中最令人印象深刻的是"拼图"任务（Jigsaw），这类任务需要理解拓扑结构关系，AMVL的得分从基础模型的45.33跃升至77.33，提升了整整32分。在IQ测试任务上提升了12.67分，在多视角推理任务上提升了14.29分。相比之下，其他离散推理方法和连续潜在推理方法的提升都远没有这么显著，比如Mull-Tokens在多视角推理上的提升（60.15）虽然也不错，但AMVL的55.64在综合表现上更加全面均衡。
第三类是分布外泛化测试，使用了VisualPuzzles基准，这个基准包含了算法推理、类比推理、演绎推理、归纳推理和空间推理等更抽象的类别，测试的是模型在没有见过这类数据的情况下能否举一反三。AMVL的7B模型在整体得分上达到33.90，超过了包括一个720亿参数的大型模型LLaVA-OneVision-72B（得分30.80）在内的所有对比方法——用一个小得多的模型，在从未专门训练过的任务上打败了体量大十倍的模型，这说明AMVL学到的推理能力具有真正的泛化性，而不仅仅是针对特定数据集的过拟合。
七、消融实验：验证每个设计选择是否真的有用
研究团队做了大量的消融实验，一一验证AMVL中每个设计选择的必要性，这些实验的结果对理解AMVL的内部机制非常有帮助。
关于双向校准的必要性，研究团队对比了只用前向KL、只用反向KL、以及完整AMVL三种情况。只用前向KL时，虽然比纯粹的下一词预测好很多，但后验仍然不受约束，可以自由漂移到先验覆盖不到的区域。只用反向KL时，后验的扩散性得到了控制，但先验没有被明确引导去学习后验找到的有用推理状态。两者缺一不可。更有趣的是，只有前向KL时，性能（V*上82.72，HRBench4K上72.12）已经超过了纯NTP（81.15，70.50），而完整AMVL（84.29，72.12）在V*上进一步提升，说明两个方向的校准确实带来了叠加效果。
关于前向KL和反向KL的启动顺序，研究团队对比了"反向先启动"和"前向先启动"两种调度策略，结果显示前向先启动明显更好（V*上84.29 vs. 80.63）。这印证了设计逻辑：先让先验有机会跟上后验，建立基本的对齐基础，再开始约束后验的漂移范围，避免在先验还很弱的时候就强行把后验拉回来导致过度压缩。
关于潜在槽数量，从4个增加到8个时性能明显提升，但从8个增加到16个时性能反而下降。研究团队解释说，连续向量本身信息密度极高，8个已经足够承载复杂推理所需的信息，继续增加只会引入冗余和"信息稀释"，让变分优化更难收敛。类似地，潜在维度从512增加到768时性能也下降了，原因是过度参数化加重了双向KL优化的负担。
关于变分头的架构，轻量级的LLM原生变分头（使用与底层模型相同的归一化和激活函数组件）明显优于简单的线性头、标准MLP头，以及更深的版本。研究团队认为，变分头的主要任务是从模型隐藏状态中读出分布参数，而不是独立编码信息，与底层架构保持一致有助于与主干网络更好地配合。
关于停止梯度的设计，去掉任何一个停止梯度都会导致性能下降，尤其是去掉先验对齐中后验的停止梯度时下降最明显。这说明这种"教师-学生"式的单向信号传递是关键的设计决策，而不仅仅是工程上的小技巧。
八、潜在空间里到底装了什么：可视化分析
为了验证这些连续推理状态确实在做有意义的事，而不只是一堆随机噪声，研究团队对潜在空间的性质进行了定性和定量分析。
在视觉定位分析中，研究团队用遮挡法测试每个潜在标记对图片哪些区域最敏感——遮住图片的一块区域，看潜在表示变化多大，变化越大说明该标记对那个区域越关注。结果显示，不同的潜在标记关注图片的不同区域，并且这些区域与问题的内容高度相关。比如当问题询问图中摩托车的颜色时，多个潜在标记都在图中摩托车及其周围区域显示出强烈响应；当问题询问梳子的颜色时，响应模式转移到了梳子所在区域。不同标记呈现出既有重叠又有差异的关注模式，整体上形成一个从粗到细逐步精化的视觉抽象序列，而不是8个标记都堆在同一个地方。
在定量几何分析中，研究团队计算了8个潜在标记的均值两两之间的余弦相似度，发现存在明显的带状结构：相邻标记更相似，远离的标记相似度较低，说明这8个标记形成了一条平滑但非退化的推理轨迹，既没有完全重复也没有杂乱无章。研究团队还测试了将图片和文字分别随机打乱时对潜在表示的影响，发现图片打乱带来的干扰远大于文字打乱，说明这个连续推理空间确实强烈植根于视觉输入，不是在走文字捷径。
通过对训练目标的消融对比，研究团队还定量分析了不同训练方式下先验和后验分布的"扩散程度"。结果显示，纯NTP训练时先验和后验的扩散程度都最大（先验1.92，后验2.23），两者之间的配对L2距离高达16.95，余弦相似度甚至为负数（-0.019），意味着先验和后验在推理空间中朝着完全相反的方向走——这是极度混乱的"考场作弊"状态的几何体现。加入反向KL后，扩散程度急剧下降，先验后验配对距离缩短到3.70，余弦相似度升至0.96，但缺少前向KL的引导使得性能没有达到最优。完整AMVL在先验扩散度（0.68）和后验扩散度（0.83）之间达到了一个平衡，先验略比后验分散（说明先验保持了一定的表达能力，没有被过度压缩），整体对齐质量（配对L2为5.43，余弦相似度0.89）好于只用前向KL的版本，而且下游任务性能最优。这说明最有效的推理空间不是那个几何上最紧凑的，而是那个在训练表达力和推理兼容性之间达到最佳平衡的。
说到底，AMVL做的事情可以用一句话来概括：它让AI学会在一个私人的、高密度的思考空间里酝酿推理，而不是被迫把所有想法都说出来才能往下走。这种思考方式更接近人类的直觉——我们在解决一道空间推理题的时候，脑海里浮现的不是文字，而是图形在旋转、拼接、比较的直觉画面。
这项研究揭示的一个更深层的道理是：在机器学习中，"训练时能做"和"推理时能做"之间的鸿沟往往比我们想象的更深。当训练时的模型拥有推理时没有的信息时（比如知道答案），不加约束的训练会让模型以一种依赖这些信息的方式运作，而这种依赖在推理时会突然消失，留下一个茫然的模型。AMVL通过双向约束同时从两侧收紧这个鸿沟，提供了一个比单纯"前向对齐"更完整的解决思路。
当然，这项研究目前的实验验证局限在7B参数规模的模型上。研究团队也坦承，一个重要的后续方向是在700亿参数以上的更大模型上验证这套方法是否依然有效，以及更大的模型容量是否会自发产生更复杂的潜在推理结构。另外，当前的理论分析聚焦于后验均值层面的答案泄漏，对后验方差或更高阶统计量造成的泄漏还有待未来工作深入探讨。
有兴趣深入了解AMVL数学细节的读者，可以通过arXiv编号2607.00461查找完整论文，里面包含了所有命题的完整证明和更详尽的实验配置。
Q&A
Q1：AMVL解决的"答案泄漏"问题是什么意思？
A：答案泄漏是指AI在训练时，推断中间推理状态的模块（后验分布）可以看到标准答案，因此会依赖答案走捷径而不是真正基于输入推理。训练时又要求推理模块（先验分布）去模仿这个依赖答案的推理，结果先验被"污染"。真正推理时没有答案可用，被污染的先验完全失效，这就是严重的训练-推理不匹配。
Q2：AMVL中的前向KL和反向KL分别在做什么事？
A：前向KL负责让先验分布学习靠近后验分布找到的推理状态，就像学生看老师解题后调整自己的思路方向。反向KL方向相反，它约束后验分布不能飘到先验完全够不到的地方，避免后验过度依赖答案走捷径。两者配合，让训练推理模式和测试推理模式相互靠拢而不是越走越远。
Q3：AMVL在BLINK基准的拼图任务上提升了32分是真的吗，这是什么概念？
A：是真实的实验结果。基础Qwen2.5-VL-7B在拼图任务上得分45.33，AMVL提升至77.33，提升了约32分。拼图任务要求AI理解图片碎片的拓扑关系，非常依赖空间感知能力而非语言表达，这恰好是连续潜在推理最擅长的场景——不需要把空间关系翻译成文字，直接在连续空间内推理，信息不流失。
热门跟贴