“别人不做，所以我们得做。”
文丨江思远
蓝振忠的气质看上去像一名在读研究生，沉静，说话不疾不徐，他是卡耐基梅隆大学博士，计算机视觉出身，曾是谷歌的大模型专家，做出了 ALBERT。两个多小时的访谈里，他三次共享屏幕给我们看论文，讲到自己的技术判断时，语气从来没有犹豫过。
这种气质可能和他酷爱的一项活动有关。冥想是蓝振忠在谷歌实习时学到的习惯，后来成了每天的固定功课。按照他的说法，冥想几乎随时随地都可以做，也不拘泥时间长短。
做过多年 AI 心理研究，蓝振忠觉得冥想 “对自己来说是最显著有效的放松方案”，因此他向身边的人各种推广，西湖心辰在 2021 年成立时，切入的领域也是 AI 心理。类似晚上睡不着或早晨醒不过来（这两件事恰好形成一种对照）这样的问题，都可以用冥想来解决。对蓝振忠而言，冥想是整理思绪、调节状态的一种方式，也帮助他更聚焦。
在 AI 世界探索也是一样的原理，多年来，蓝振忠的思路始终聚焦在用更本质的范式提升大模型能力上限。西湖心辰的业务逐渐回归到了这个简单的核心：做更聪明、也更快的大模型，服务超过千万的 C 端用户。
不过，蓝振忠的解法和我们所熟知的主流自回归大模型路线不一样，他更看重扩散模型的潜力，在这方面有绝对的信心。
常见的大模型都属于自回归，通俗来说，token 生成是按照顺序排列的，一个 token 一个 token 往外蹦，而扩散模型则可以先给出一个整体的轮廓，再通过一轮轮的迭代补全修正，换言之，它可以并行在多个位置同时生成 token。
扩散模型已经是图像和视频生成的主流路线，最具代表性的是 DiT 架构，即把扩散模型和 Transformer 结合起来，其中的 D 代表的就是扩散（Diffusion），OpenAI 的视频模型 Sora 就是一个应用典型。
蓝振忠认为通用大语言模型——目前 AI 竞赛的圣杯——同样适用这种方式。
2019 年在谷歌时，蓝振忠以第一作者的身份做出了 ALBERT，它和 BERT 一样是掩码语言模型，把一句话遮住一部分，模型根据上下文猜出来缺失的句子意思，和 BERT 的区别在于 ALBERT 让多层共享同一套参数，扩散语言模型也是用更多的计算量换来更高的参数利用率。
蓝振忠认为这种方法更本质。2025 年，兼任蚂蚁技术研究院通用人工智能中心主任的蓝振忠开始推动研究规模化，扩散语言模型 LLaDA 的参数从 8B 扩大到了千亿，在蚂蚁技术研究院通用人工智能中心，蓝振忠的团队相继推出全球首个原生 MoE 扩散模型 LLaDA-MoE、首个扩散语言模型工业级推理框架 dInfer、首个千亿参数扩散模型 LLaDA 2.0，以及首个大规模 Agentic 扩散模型 LLaDA 2.2。其中，LLaDA 2.0 在对话任务上的能力与同代自回归模型持平，推理速度提升 3 倍以上，这很适合金融场景对高并发、低延时的需求，目前已在金融风控和代码修改两个场景落地。
西湖心辰即将发布的新模型则是一个并行思维链的扩散模型。
同事形容蓝振忠是一个 “非常简单” 的人，只想做心里那一两件事，而扩散模型这条看上去艰难而少有人走的路一直是蓝振忠的选择，在被问到为什么偏要走这条路的时候，一直语气平和的蓝振忠给出一个豪迈的回答：“我不喜欢做追随者。”
蓝振忠
让一切并行
蓝振忠对目前 AI 领域主流的自回归模型最不满意的地方，在于模型训练和推理阶段实质上的背离。
训练大模型时，一段文本的所有位置是在同时计算的，GPU 的并行能力由此被充分利用，然而到了推理阶段， token 却需要一个字一个字串行向外吐，每一步只能在已生成前缀上确定下一个 token。
逐字生成让显存带宽成为最核心的瓶颈，庞大的计算单元在推理阶段大部分时间是在等数据，蓝振忠认为，这也是芯片厂商不得不把训练芯片和推理芯片分开设计的原因之一。
在低批量解码中，显存带宽常成为瓶颈，扩散路线试图用更多并行计算换取更少的串行步数，从理论上说，它的训练和推理是并行的。同时，鉴于图像、视频和语音生成至少已部分采用扩散模型，语言这个模态的加入可以实现训练目标更好地统一。
在我们的访谈中，蓝振忠提到了一篇 2025 年卡内基梅隆大学的论文 Diffusion Beats Autoregressive in Data-Constrained Settings。论文提出，在数据有限的情况下，自回归模型重复训练约 4 遍后收益就开始递减，而扩散模型重复到 100 遍左右，效果依然接近使用全新数据。
论文给出的解释是，扩散模型每次遮住的位置是随机的，这意味着即使是同样的数据，模型学到的都是新的能力，有着更高的智能上限。蓝振忠在自己的实验里看到了同样的现象，后训练阶段的有限数据在自回归模型上训练两轮左右就开始过拟合，而扩散模型能训练到 10 轮以上。在高质量数据越来越稀缺的今天，这种更高的数据利用率非常具有吸引力。
晚点：听说你们即将发布一个新的扩散语言模型?
蓝振忠：是的，西湖心辰正在训练一个并行思维链的扩散模型。并行思维链将扩散的并行能力从 “同时生成多个位置” 进一步推进到 “同时展开多条思维链”，可让模型在有限响应时间内完成更充分的多角度分析。这是西湖心辰在扩散范式上的一次新尝试。
晚点：在你看来，扩散模型相比自回归模型，更本质？
蓝振忠：深度学习之所以能起来，很大作用是因为并行，把它做到 GPU 上去，但是我们在解码上是串行的，这带来很多很多问题。
还有一个是统一模型的问题。图像（模态）基本上用的是扩散，视频也是，语音也慢慢在用，但语言还是用自回归的方式，其实没有理由说它不能用扩散。
扩散背后有一个很漂亮的思想我很喜欢，笛卡尔在《谈谈方法》里讲人类是如何解决科学问题的，那就是把一个复杂的问题拆成一个个小步骤，扩散的思想也是这样，一步不能到位，就切成很多步去做，一来它能解更难的问题，二来它对参数的利用率更高。同时，它也更简洁，用扩散的方式可以统一所有的模态，这是每个做研究的人都有的梦想。
当然，它会带来更多的计算量，这是一个取舍。
晚点：扩散相比自回归，在思路上就更复杂，产生的噪声更多，技术上更难处理整合，这对芯片来说难道不是个大问题吗？
蓝振忠：对于语言来说可能更复杂了，但因为更难的目标函数，对数据的利用率其实是更高了。 而且对于多模态的融合和芯片来说，其实是更简单的。 如果多模融合能够类似于我们在今年 4 月发布的 LLaDA Uni 那样，在同一个目标函数下训练语言和图像，那会非常简单。 另外，GPU 芯片天然就是并行计算的，之所以有推理卡和训练卡的说法，是因为不同的并行需求。 如果大家使用了同样的并行策略，那未来可能不用特化了，用训练芯片做推理就可以。
别人不做，所以我们得做
扩散语言模型的想法并不新，“遮住一部分内容，让模型去猜” 这种思想，贯穿了这一轮 AI 浪潮，早期和 GPT 架构竞争的 BERT 一类掩码语言模型正是这样的思路，只是后来它们在生成任务上都被 GPT 采用的自回归模型架构甩开。
训练效率是重要原因。自回归模型在每一个位置都预测下一个词，每个位置都能产生训练信号。相比之下，按蓝振忠的说法，从零训练时，扩散模型只在被遮住的位置计算损失，平均下来只有约 25% 的 token 能提供监督信号，后来做到了更高，但还是没有达到 100%。
另一个影响效率的因素是训练和推理之间的分布偏差。扩散模型训练时，遮盖位置是随机采样的，没有遮盖的上下文全都是真实文本，但在推理时，模型解码位置是按照置信度决定的，也就是说扩散过程中未被遮盖的上下文实际上是模型自己的预测，这可能带有错误，因此想要达到同样的生成质量，需要更多的数据与算力——这同样在拉低效率。
突破瓶颈的方法来自一种分块扩散的思路，块与块之间按顺序生成，块内部并行，而自回归模型在数学上恰恰是块大小为 1 的特例。这让扩散模型不必从零训练，而是以现成的自回归模型为基础逐步迁移过来。
2025 年初蚂蚁与中国人民大学合作的第一代 LLaDA 扩散模型还只能处理一段固定长度的文本，到了 LLaDA 2.0，蓝振忠在蚂蚁的团队借助分块扩散把模型做到了千亿参数，而今年 7 月开源的 LLaDA 2.2 同样是千亿参数的 MoE 扩散模型。蓝振忠说，它是第一个在 SWE-bench 上有成绩、且成绩不错的开源扩散模型。
LLaDA 一定程度上证明了扩散模型的 scaling 是可行的，但蓝振忠没有选择一味做大模型规模，而是继续沿着并行的思路，试图在算法层面能让扩散模型囊括更多自回归模型的能力，并且做得更好。
“并行的思维链” 就是这样的一个尝试，这也和西湖心辰面临的商业化场景有关。
从成立之初到现在，西湖心辰坚持做有自己特色的模型，从最早的多模态大模型到最新的扩散范式的通用语言模型。而产品端，西湖心辰更注重人和 AI 的交互，从 AI 心理咨询起步，最终把重心放在海外 C 端，主要产品是面向海外用户的陪伴和互动内容应用，这类产品要求模型有更强的交互能力，需要保持较快的响应速度。
并行思维链可以解决这个问题。西湖心辰的做法是让并行发生在两个层。一层是 token，每条思维链内部会用扩散同时生成多个 token，而面对用户的一句话，模型还会同时展开多条思维链，最后合成一个回答。根据官方提供的数据，在相同的机器和参数规模下，带思维链时首个回答 token 响应时间被压到 4 秒以内，相比之下，自回归模型的时间约 12 秒。在心辰的业务场景中，新模型使得回答质量、用户 engagement 等指标提升了 10~40%。
在复旦团队发表于 ICML 2025 的公开评测 CoSER（角色扮演与人设模拟评测） 上，西湖心辰的 “并行思维链” 模型得分 65.98，仅次于 Claude Sonnet 5.5 的 68.24，高于 GPT-6.1-Sol 和 Claude Opus 5.5，领先所有参与对比的开源模型。
西湖心辰并行思维链 demo
不过蓝振忠对这项工作的评价出奇地克制，用他的话来说，这只是 “一个很小的 step”。
追溯源头，“并行思维链” 模型的灵感大概来自一篇 2023 年蓝振忠发表的论文，对话系统生成的多条备选回复其实只需要和上下文一起算一遍就够了，不仅准确率更高，相比挨个计算，速度还快了约四倍。蓝振忠把这个思路延伸到思维链上，不必再依赖调用多个 agent，多条思维链可以在同一个模型里、基于同一份上下文同时展开。
晚点：2025 年初你开始真正把扩散模型做起来，是什么推动你下的决心？
蓝振忠：我觉得得走出另外一条路。这波 AI 看似在快速推进，但大家现在做的基本上都是 scaling，大量算力耗在上面，真正推动范式级别改变的其实很少。扩散模型如果没人去做 scaling，就永远不知道能不能走通。
扩散语言模型真正做到 7B、8B 这个量级，是 2025 年初，那时我才真正开始觉得它可以 scale 了。
晚点：这条路之前没人做过，你有没有想过为什么是你？
蓝振忠：我们的目标，用一个大家常说的，就是追求 “智能上限”。我一直都不喜欢做追随者，我不觉得别人不做我们就不能做，恰恰相反，别人不做所以我们得做。
晚点：梁文锋说过，“既然我们想做这个事，又有这个能力”，那就是最合适的人选。你怎么看自己 “有能力” 的部分？
蓝振忠：首先，我们在这个领域基本上算是最领先的之一，在认知上最有条件。心辰储备了不少算力，人才密度也很高。核心成员多来自谷歌、阿里、腾讯等国内外头部科技企业，以及顶尖大学和机构的科研人才。另外有一句话叫 The devil is in the details，很多细节你没有亲手做过是很难做到的，我们在这方面积累了很长时间。
举个例子，我们一般训练，为了效率，会把多个文档（这里的 “文档” 是训练术语，指训练数据里的一篇篇独立文本，比如一篇网页、一篇文章、一个代码文件）一起放进去，文档和文档之间没有任何联系，这对自回归模型来说没有任何问题，但扩散模型是双向的，互不关联的文档会影响生成结果，所以我们最后做了一个文档级别的注意力模块，让模型看同一篇文本里的内容，就这么一个细节，我们当时研究了很久。
晚点：你们一直在训模型。
蓝振忠：我们一直在训模型，预训练、后训练，也包括 harness。
晚点：创办心辰以来，你觉得最重要是什么？
蓝振忠：最重要的是去除 “噪音”，沉下心来。我们是一群技术人，目标是做一家伟大的公司，把智能的上限往上推。所以我们只做最符合团队特质的事：把模型做好。我们坚持做更好的模型，让它能服务到每一个人。有了用户，就有真实的用户反馈；有反馈，就有数据飞轮。现在大家都在做 harness、做数据飞轮，而我们已经有一个比较大的用户群，这本身就在反哺模型。
晚点：这次新模型里并行思维链这个想法最早是从哪里来的？
蓝振忠：我们一直在找更能体现扩散优势的场景，扩散模型的优势是能同时生成很多字，加上并行的话，速度可以做到很快。这和我们产品的诉求是匹配的，思维链可以提升回答质量，但是用户需要高质量的回答，但是又不想等太久，并行思维链的想法就出现了，它可以在有限响应时间内完成更充分的多角度分析。
晚点：概括总结一下你们的思想是什么？
蓝振忠：我的想法是，未来 AI 之间的交流协作不需要通过自然语言。自然语言、图像、视频是 AI 和人交互的界面，而 AI 之间的交流协作可以在模型内部的潜空间进行，这样信息损失会明显降低。多条思维链在同一个模型里并行展开，是往这个方向走的一小步。
Coding 是上一个赛道，多模态 agentic 是下一个 AI 赛道
投资人见到蓝振忠最常问的问题之一是要不要去做 coding？而他的回答是不，coding 已经是上一个赛道，而下一个机会是多模态 agentic 交互，它会带来更巨量的 token 消耗量增长。
蓝振忠采访中经常会抛出一个逻辑清晰、思维完整的解释框架来应对一些重要问题。在他看来，大模型的输入端已经基本统一到全模态，输出端却还是单一模态；随着输出走向全模态，token 消耗量会随之水涨船高，agent 又会把 token 需求再推上一个台阶。与此同时，像视频生成这样的多模态产品，至今仍要靠人反复 “抽卡”，随着多模态 agentic 能力的提升，这部分人工会逐渐被自动化取代。
蓝振忠据此判断，多模态 agentic 会大幅提升 token 需求，也预示着扩散模型下一步，一个能同时生成文字、图像、声音和视频，还能自己检查、自己修改的全模态模型。这其实也是西湖心辰的模型路线图。西湖心辰将持续发布新的模型，而真正全模态的扩散模型也将于近期发布。
当然，这中间还有好几座技术大山需要翻越。
训练阶段，扩散模型学的是任意顺序，容易输入大量无用的关联，需要引导它从数据里找出结构。采样也是如此，同一轮并行生成的内容互相独立，容易前后冲突，需要边生成边修改。而最难的挑战之一是多模态兼容，让各个模态在生成时不互相冲突，这也是扩散模型的潜力所在，它能够把所有模态放进同一个训练目标，从而实现蓝振忠所说的简洁之美。
目前， LLaDA 系列作为世界最大的开源扩散语言模型也只有千亿参数，和已做到数万亿参数的头部自回归模型相比，并不算大，但蓝振忠并不急着把模型做大。在他看来，扩散模型的瓶颈在算法而不在算力，他要的不仅仅是追平现有前沿模型能力，而是让扩散这条更简单、更统一的技术路线超越自回归模型。
晚点：你判断下一个机会是全模态 agentic，你看到了什么趋势？
蓝振忠：两个趋势。一是 AI 承担的任务越来越长，需要反复规划、执行和修正，token 消耗也随之大幅增长。二是多模态的统一正在从输入端延伸到输出端，文字、声音和画面的生成需要更好地协同。
比如一个 AI 助理，说什么、用什么语气和表情、什么时候停下来听用户，都需要结合上下文一起考虑。我们希望用扩散模型统一不同模态的生成，提升输出的一致性和效率。
这两个趋势结合，就是我们关注的全模态 agentic：AI 能综合运用不同模态，自主完成任务，并自己发现问题，持续改进结果。
晚点：实时互动全模态，好像每家都说要做，每家都做不出来。
蓝振忠：没有每家都在做。输入的全模态很多人在做，而且很快就齐了，但是生成的全模态，还有很大的空间。我们的生成的全模态跟这种主流的全模态是有区别的。另外，我们在 LLaDA Uni 里探索了用同一个目标函数来监督两个模态，整个结构和训练方式会变得非常简单。
晚点：目前最新实时视频模型，已经可以在视频流里根据用户的 prompt 改画面了。
蓝振忠：那是实时交互，不是 agentic 的。现在大家的视频模型都是单模态出的，视频本身是多模态的，但模型只输出视频。没有思维链，没有文本，没有其他东西，你很难去做编辑。
这是现在视频模型依旧要 “抽卡” 的原因。理想状态应该是，比如我要一个小时的视频，描述一个场景，模型应该会自己去检查：哪段生成得好，哪段不好，头发细节有问题，声音有问题。这在 coding 场景里已经形成闭环了，你用 Claude 的时候，它的思维链会去印证答案对不对，然后反思、修正。现在视频模型还没有这个能力。
晚点：既然已经初步验证了扩散模型 scaling 的可行性，为什么不先把模型做大？
蓝振忠：主要是我们想做得更好一些。我们想超越自回归模型，而不是说性能达到自回归模型就行。扩散的训练目标显然更难，因为它随机性太大，任意顺序，又有很多噪声。我觉得先把算法做得更好，比扩大规模更有意义。
晚点：怎么去掉这些噪声？
蓝振忠：数据本身是有结构的，其实这时候强化学习就很好用。
晚点：在离散的情况下做强化学习，感觉非常困难啊。
蓝振忠：离散扩散语言模型做强化学习的困难点在于同一个答案可以由多种去噪路径和编辑路径生成，难以像 AR 那样直接去计算准确的策略概率。 现在有多种方法解决这个问题，我们采用的是近似生成概率的方案。目前也有比较大的提升空间。
晚点：目前限制扩散发展的，是数据、算法还是算力？
蓝振忠：我觉得瓶颈还是在算法上，你看过往大模型公司的发展，是不大会缺算力来 scale 的，算力会给到更优的算法。
晚点：着眼未来，你设想中最大的风险是什么？
蓝振忠：因为我们是做模型的，所以肯定是在模型上，比如说 scale 到一定程度，又发现了新问题。我们对这个方向有明确的研究目标和路径，但模型的能力仍需要逐项验证，模型规模和发布节奏会根据实验与产品反馈调整。
晚点：所以你是一个很自信的人？
蓝振忠：是得有这个自信才能做好啊。
我们的访谈结束后，蓝振忠赶着开下一场会，当时已经接近晚上十点。
访谈的大部分时间里，我们谈论的主题实际上是扩散模型的简洁以及并行计算的效率。训练是并行的，推理也应当如此。多个位置可以同时生成，多条思维链自然也应当同时展开。这似乎和蓝振忠对冥想的推崇形成了一种对照。他的同事说他打坐的时间可以长达一个小时，我们询问他，是不是有在冥想的时候做出过重大的决定，他说决定往往不是在冥想时做出的，而是在冥想之后。
那一个小时里，他什么也不决定，就像扩散模型的降噪算法一样，那是一个纯粹、沉淀和锚定方向的过程。
题图来源：《黑客帝国 3：矩阵革命》
热门跟贴