21世纪经济报道记者 林典驰

大模型的回答,一定要一个字接一个字地生成吗?一家落地深圳的创业公司,正尝试给出另一种答案。

10月28日,扩散智能DiffuSpace(下称“DiffuSpace”)发布并开源最新模型Clover-35B-A3B-Preview。该模型采用混合专家架构(MoE),总参数350亿,每个Token激活约30亿参数,面向智能体编程与工具使用等任务。这也是公司将扩散语言模型从实验室研究推向应用的一次新进展。

与ChatGPT所代表的主流自回归生成路线不同,DiffuSpace选择了扩散语言模型(dLLM)。前者通常依次预测下一个Token,即模型处理文本的基本单元;后者尝试在多个位置并行补全内容,通过迭代逐步形成答案。

新模型发布之前,资本已率先入场。DiffuSpace近期连续完成两轮融资,总金额数亿元人民币,由经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线等跟投。这家今年5月创立的企业,由香港大学NLP实验室联合主管孔令鹏教授与龚珊三、叶佳成等成员联合创办。

早在2022年,公司核心团队便开始研究扩散语言模型,是全球最早系统探索这一技术路线的团队之一。选择差异化的生成路线并不轻松,团队需要找到适合扩散语言模型的领域,而且需要保证生成速度在模型规模扩大后保持优势,测试成绩在任务中的表现也很重要。

理解DiffuSpace的选择,要从大模型如何生成内容说起。

自回归模型的工作方式近似于按顺序续写:根据已有内容,预测接下来最合适的Token,再将它加入上下文,继续预测下一个。这种方法支撑了主流大语言模型的发展,但生成过程中的先后依赖,也约束了并行处理的空间。

扩散语言模型则采用另一种思路。它可以从存在大量空缺的文本出发,同时预测多个位置的内容,再通过多轮处理逐步减少不确定性。对于需要兼顾多处约束的代码和结构化输出,这种生成方式提供了新的探索方向。

不过,“并行生成”并不等于一次写完全文,更不意味着模型天然拥有更强的推理能力。并行处理多少内容、需要多少轮迭代,以及如何兼顾速度与准确率,仍取决于具体模型和推理系统的设计。

Clover采用的便是分块扩散。根据其官方模型卡,模型在当前文本块内并行补全内容,完成后再将这一块纳入后续生成所参考的上下文。也就是说,它在块内引入双向信息交互,同时保留块与块之间的先后关系。

据团队介绍,Clover对门控Delta网络(GDN)进行了重构:一方面压缩和保存历史上下文,另一方面让当前文本块中的内容充分交互,并由模型学习如何选择两类信息。其目标是在扩大模型规模时,同时控制计算开销和保持生成质量。

根据官方模型卡,Clover总参数350亿,每个Token激活约30亿参数,通过调用部分专家参与计算。激活参数较少,并不意味着只需存储30亿参数;其BF16精度模型权重约为69GB,运行时还需额外的推理空间。

因此,Clover此次发布的看点,并非单纯将参数规模从Dream 7B的70亿扩大至350亿,而是团队试图证明:扩散语言模型在走向更大规模后,仍能兼顾能力与效率。

DiffuSpace此次将智能体编程和工具使用放在突出位置,背后有明确的应用逻辑。

与一次问答不同,智能体完成任务往往要反复经历理解需求、调用工具、读取结果和调整方案。一次生成节省的时间,可能沿着多步任务持续累积;相反,即使模型输出很快,如果频繁调用错误工具、反复返工,完整任务仍可能耗时较长。

据团队公布的结果,Clover在本次对比的六项智能体评测中,均取得所列模型的最高分。其中,SWE-bench Verified、Terminal-Bench 2.1和τ³ Overall的得分分别为73.6、51.7和65.3,超过对比中的Mercury 2.5及同尺寸Qwen3.6-35B-A3B等模型的得分。

在生成效率上,团队披露,Clover在单张英伟达GB300 GPU、BF16精度、单请求批量的条件下,使用内部智能体场景数据测得整体生成速度为每秒680个Token。

在官方展示的网页操作案例中,模型需要根据一条指令创建私有项目,并添加两名指定成员。在相同的智能体框架、提示词、工具和浏览器配置下,团队披露,Clover用13步、169.9秒完成任务,对照的Qwen3.6 Flash用21步、392.3秒完成。

不过,能否进一步降低成本,还要结合硬件利用率、并发能力与任务成功率判断。

DiffuSpace还计划推出基于Clover的决策模型,并拓展多模态能力。其中,决策模型拟在一次生成中联合处理最多8个关联问题,让不同判断相互参照,减少前后冲突。对于同一份材料中存在关联条件的判断任务,这提供了一个值得验证的方向。

尽管DiffuSpace于2026年5月才在深圳创立,但核心团队对扩散语言模型的探索却已持续数年。

公开资料显示,团队在2022年便开始相关研究,随后推出DiffuSeq、Dream 7B等成果。孔令鹏与龚珊三、叶佳成等人的合作,也从科研逐步延伸至创业。

孔令鹏教授是香港大学NLP实验室联合主管,曾在DeepMind工作过。龚珊三是孔令鹏的学生,目前在香港大学最后一年读博。

目前,DiffuSpace的核心成员主要来自香港大学、北京大学、清华大学等知名高校及一线模型公司,这支团队已打造覆盖“算法-数据-训练-推理”的完整扩散语言模型系统。

从研究成果走向产品,所需解决的问题也随之变化。论文和基准测试回答的是某种方法是否有效,商业交付则要求模型在不同输入、不同设备与持续运行中,保持可预期的表现。

此次开源,是DiffuSpace扩大外部验证范围的一步。目前,Clover模型权重及相关代码已在Hugging Face和GitHub发布,支持SGLang和llama.cpp推理。开发者可以自行部署、构建应用或开展研究。相较于仅提供演示,开放权重和推理代码,也让更多使用者有条件检验其能力边界。

深圳鲜有大模型公司,扩散智能愿意落户深圳难能可贵。在深圳,这家源于高校研究的企业与智能终端、汽车、机器人等产业场景产生了更直接的连接。对于强调响应速度和本地部署潜力的模型路线,这些产业提供了应用验证的空间。

扩散语言模型也并非只有这一家参与者。Google已推出Gemini Diffusion,Inception、蚂蚁集团等企业也在持续探索相关路线。Google DeepMind将Gemini Diffusion定位为实验性文本扩散模型,强调通过迭代修正实现文本生成。

参与者增加,说明这条路线获得了更多关注,DiffuSpace需要同时面对自回归模型与其他扩散模型的竞争。更快的生成方式能否抵消新路线在工程适配、生态和产品成熟度上的投入,将在真实市场中接受检验。

Clover发布后,DiffuSpace获得了一个比融资金额更具体的检验机会,让开发者把模型放进实际任务,观察速度、准确率和使用成本能否同时满足需求。