3步推理生成加速20+倍！CoLT教会多模态大模型用「潜思维链」思考

打开网易新闻 查看精彩图片

一、研究背景：当 CoT 遇上「慢」与「窄」

近年来，多模态大语言模型（MLLM）在视觉问答、图表理解、科学推理等任务上取得了令人瞩目的进展。Qwen3-VL、InternVL3、Step3-VL 等模型不断刷新开源榜单，而支撑其复杂推理能力的关键技术之一，正是Chain-of-Thought（CoT，思维链）：让模型在给出最终答案之前，先以自然语言逐步展开中间推理过程。

从 Wei 等人提出的 CoT 提示，到 DeepSeek-R1、OpenAI o1 所代表的长链推理范式，「先想后答」已成为构建高智能多模态系统的标准协议。

然而，文本 CoT 在带来性能增益的同时，也暴露出三个难以回避的结构性瓶颈。

1. 推理效率：每一步思维都必须以离散 token 自回归生成，一次完整推理往往消耗数百甚至上千个 token，构成推理阶段最主要的计算负担。
2. 表达局限：一旦将连续的思考过程「坍缩」为某一条具体的自然语言表述，模型便失去了在多种解题路径间保持分布的能力。
3. 错误传播：早期推理步骤中的偏差会沿链条逐级放大，在长链场景下尤为致命。

为突破上述限制，学界开始探索Latent Reasoning（潜空间推理）：将中间思考过程保留在连续表征空间中，而非显式解码为文本。

CoCoNut、CODI、SoftCoT、SIM-CoT 等工作在纯文本 LLM 上验证了这一方向的可行性；在多模态领域，LVR、LaCoT、MoNet 等方法则尝试借助辅助图像生成潜思维 token。但这些视觉潜推理方案往往依赖昂贵的图像标注或专用编码器，可扩展性受限。

一个自然的问题由此浮现：能否在不引入任何辅助视觉标注的前提下，仅利用已有文本CoT数据，让多模态模型在语言模型的潜空间中完成高效、可监督、可泛化的推理？

二、CoLT 核心思想：仅用 3 步潜向量完成深度推理

本文提出的CoLT（Chain of Latent Thoughts，潜思维链）给出了一份系统性的答案。

打开网易新闻 查看精彩图片

• 论文标题：CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts
• 会议：ECCV 2026
• 作者：胡连宇，秦胜乾，廖泽钦，郭青，万亮，冯伟，刘杨
• 机构：南洋理工大学 | 上海交通大学 | 南开大学 | 天津大学
• 代码：https://github.com/hulianyuyy/CoLT
• 论文地址：https://arxiv.org/abs/2606.31986

给定图像 v 与文本查询 x，标准 MLLM 先在视觉编码器中获得视觉 token，再与文本拼接输入语言模型。传统 Text CoT 需要生成 L 步显式推理文本 r₁,…,r_L 后才能输出答案；而 CoLT 将这一过程替换为仅 K 步潜思维向量 h₁,…,h_K（本文默认 K =3），每一步对应语言模型在指定推理位置的最后一层隐状态，并直接作为下一步的输入嵌入反馈回模型，无需扩展词表、无需引入特殊 token。

这一设计带来了数量级上的效率优势：相比 Text CoT 平均约 142 个推理 token，CoLT 仅需3 个连续向量即可完成思考，生成阶段耗时从约 7.24 秒降至0.32 秒（MMStar benchmark，单卡 H200），文本解码加速达22.6×，端到端推理加速10.1×。更引人注目的是，效率的提升并未以牺牲精度为代价。

在八个多模态基准上的平均准确率，CoLT 达到79.1%，不仅超越同骨干上的 Text CoT（75.7%，+3.4%），也显著领先现有潜推理与潜视觉推理方法。

打开网易新闻 查看精彩图片

图1：CoLT框架图。左图：（1）文本 CoT（思维链）在生成答案之前，会先生成冗长的推理文本 token；（2）潜在推理（latent reasoning）以潜在状态替代文本，但缺乏显式监督；（3）潜在视觉推理（latent visual reasoning）则通过编码器，将潜在状态与额外的图像标注进行对齐。右图：CoLT 生成潜在思维向量，并通过两种互补机制进行约束：外部的逐步监督（由解码器以前向和反向模式运行）以及内部的步间预测。

三、方法详解：三重步级监督，驯服无约束潜空间

将文本 token 替换为连续向量进行推理，看似简单，实则困难重重。无约束的潜空间缺乏结构化归纳偏置，模型极易学到语义空洞的表征，训练过程也会剧烈震荡，从而大幅降低精度。

CoLT 的核心创新，在于引入一套轻量但完备的步级（step-level）监督机制，从外部与内部两个维度共同规约潜思维链的语义与结构。

3.1 外部解码器：前向 + 后向双向锚定

CoLT 引入一个与骨干同族的小型外部解码器 D_φ（默认 Qwen3-0.6B，与 Qwen3-VL-8B 共享词表），在训练阶段对每个潜思维步提供互补监督：

• 前向解码（Forward Decoding）：以当前潜思维 h_k 为条件，解码器自回归生成下一步的文本推理 r_(k+1)。该损失确保每个潜向量编码了足够的信息，足以重构显式推理内容；梯度经解码器回传至主模型，驱动潜表征走向「可解释、可递进」的语义。

打开网易新闻 查看精彩图片

3.2 内部监督：步间连贯性预测

打开网易新闻 查看精彩图片

打开网易新闻 查看精彩图片

其中 α=β=γ=0.2。

3.3 两阶段训练与零开销推理

训练由 SFT 阶段组成：在 OneThinker 图像子集上以完整联合损失监督，动态将文本 CoT 标注切分为 K 段与潜思维步对齐。

推理阶段，外部解码器与投影头被完全丢弃，仅采用到 3 个潜向量的「闪电思考」与最终答案，零额外计算开销。

四、实验结果：八基准全面领先

研究团队在八个涵盖视觉理解、图表推理、文本丰富 VQA、科学问答、视觉不可或缺问题、图表理解与多任务综合评测的基准上系统评估 CoLT，骨干统一为 Qwen3-VL-8B-Instruct，确保公平对比。

打开网易新闻 查看精彩图片

表1 | 八个多模态基准综合对比（%）。† 表示基于 Qwen3-VL-8B 骨干。

从表 1 可以读出几条清晰结论：

• 潜思维确实「有用」：相比直答模式（Avg. 69.5%），CoLT 提升 9.6 个百分点，证明仅 3 个连续向量即可承载 substantial 的推理能力。
• 潜思维可以「更好」：相较同骨干 Text CoT（75.7%），CoLT 再提升 3.4%，在 ChartQA（+9.6%）与 TextVQA（+6.1%）上增益最为显著，恰是需要多步图表分析与 OCR 阅读的硬核场景。
• CoLT 在潜推理赛道一骑绝尘：超越最强潜推理基线 SIM-CoT 5.1%，超越最强潜视觉推理基线 LVR 5.5%，且无需任何辅助图像标注。

与闭源模型的横向参照同样值得关注：在 MMBench 上 CoLT 达 84.6%，逼近 GPT-5-high（83.8%）与 Claude-Opus-4.1（83.0%）；在 ChartQA 上以 74.7% 大幅领先 Gemini-2.5-Pro（59.7%）。对于 8B 规模的开源模型而言，这是一份颇具说服力的成绩单。

五、消融实验：每个监督信号都不可或缺

为厘清 CoLT 各组件的贡献，在四个代表性基准上进行了系统消融。

监督信号组合实验（表2）揭示：单独使用时，后向解码（67.2%）> 前向解码（65.8%）> 内部监督（63.6%）；任意两两组合均显著优于单分量，其中 L_fwd + L_bwd 最强（69.8%）；三者完整启用时平均准确率达 72.6%，且每增加一项监督均有稳定增益——后向解码的边际贡献最大（+4.5%），证实双向锚定是驯服潜空间的关键。

打开网易新闻 查看精彩图片

表2 | 监督信号组合消融

解码器规模消融（表3）则证明「小而美」：从 Qwen3-0.6B 扩展至 Qwen3-8B，平均准确率仅从 72.6% 微升至 73.2%（+0.6%），0.6B 解码器已能提供有效的步级监督，是精度-效率的最佳折中。

打开网易新闻 查看精彩图片

表3 | 外部解码器规模消融

潜思维步数 K 的敏感性分析（表4）显示性能在 K=3 处达到峰值（72.6%），过少（K=1, 66.8%）限制推理容量，过多（K=8, 71.2%）则引入冗余。跨 K 泛化实验进一步表明：以 K=3 训练、K=6 测试仅下降 0.7%，K=3 作为默认配置具有良好的鲁棒性。

打开网易新闻 查看精彩图片

表4 | 潜思维步数 K 的影响

六、效率加速：潜空间的天然优势

效率对比（表5）进一步量化了 CoLT 的实用价值。

在 MMStar 上，编码阶段三者均为 ~0.45s，瓶颈在生成阶段：Text CoT 需 7.24s 生成 142.1 个 token，CoLT 仅 0.32s 完成 3 个潜向量，生成加速 22.6×；端到端（编码+生成）加速 10.1×，且准确率从 Text CoT 的 67.1% 提升至 68.9%。

在 MMT-Bench 上结论一致：生成加速 22.4×，端到端 10.1×，准确率 67.4% vs. 63.3%。

打开网易新闻 查看精彩图片

表5 | 推理速度对比（单卡 H200，每样本均值）

七、可解释性：潜思维并非「黑箱」

一个常见质疑是：潜向量是否只是无法解释的数值噪声？

CoLT 用定性分析给出了否定答案。借助训练阶段的前向解码器，可将每个潜思维步h_k 投影回自然语言，揭示其编码的推理片段。

打开网易新闻 查看精彩图片

图2：两个可视化示例及其解码后的潜在思维。我们使用前向解码器将潜在状态重新映射回文本。不同颜色标注的片段表示由不同潜在推理步骤解码得到的推理内容。

论文 Figure 2 展示了两个逻辑推理与数学计算方面的实例：在逻辑模式匹配题中，三步潜思维分别对应逐行视觉扫描、绿色扇区计数与模式推断；在数学积木题中，潜步骤依次分解十位、个位并求和。颜色编码显示每步潜向量承载推理链中独立且语义明确的片段，步间逻辑连贯，验证了内部监督对结构化过渡的有效约束。

八、总结与展望

CoLT 为多模态潜空间推理提供了一条兼具理论美感与工程实用性的路径：以极少步数的连续潜思维替代冗长的文本 CoT，通过前向解码、后向解码与内部预测的三重步级监督驯服无约束潜空间，训练后零开销部署，在八个基准上以 79.1% 平均准确率全面领先，相对 Text CoT 实现 10.1× 端到端加速与 22.6× 文本生成加速，并在输入噪声下展现出卓越的鲁棒性。

未来方向包括：根据问题难度自适应调节潜思维步数 K；探索潜-文混合推理框架，在关键决策点切换显式/隐式表征；以及将潜思维链扩展至视频、音频等更多模态。

代码已开源：https://github.com/hulianyuyy/CoLT