离散扩散语言模型(dLLM)近来热度不低,但一个根本问题始终悬而未决:它到底能不能取代自回归模型(AR)?本文从 LLaDA 系列的实际经验出发,给出一个阶段性判断。
dLLM 的核心优势与挑战并存
打开网易新闻 查看精彩图片
dLLM 在生成方式上与 AR 有本质差异,理论上具备并行生成、全局建模等潜力。但实践中,边际-联合一致性是绕不开的坎——模型在逐步去噪时,每一步的边际分布与整体联合分布能否保持一致,直接决定生成质量。LLaDA 系列的实验显示,这一问题的处理难度远超预期。
token 效率与基础设施成本是现实门槛
另一个被低估的问题是 token 效率。dLLM 在推理过程中需要多次迭代修正,消耗的 token 数往往高于 AR 模型,直接推高计算成本。基础设施层面,现有推理引擎、采样策略和硬件优化几乎全部围绕 AR 设计,dLLM 要落地,意味着整套工具链需要重构,投入巨大。
结论:不是取代,而是融合
综合来看,dLLM 短期内难以简单取代 AR。更可能的方向是两者融合——dLLM 与 AR、speculative decoding 等技术结合,形成连续谱系,在不同场景下各取所长。LLaDA 系列的实践,正是在为这条融合路径探路。
热门跟贴