本文由马普所联合清华大学等机构共同完成。第一作者为清华大学硕士生罗一夫，研究方向为生成模型的后训练，尤其是大语言模型的蒸馏学习与扩散模型的强化学习后训练，目前已经在 NeurIPS、ICML 等顶级国际会议上以第一作者身份发表多篇论文。通讯作者为马普所首席研究员刘世伟博士。
在线自蒸馏学习（On-policy Self-distillation, OPSD）已经在大语言模型领域刮起了一股旋风。作为一种新兴的后训练手段，OPSD 凭借着密集监督信号的独特优势，展现出了超越 RL 的后训练效果，尤其是远超 RL 数倍的训练效率。但对于扩散大语言模型 (diffusion Large Language Models, dLLMs)，OPSD 在其上的应用仍然是一片空白，有待探索。
另一方面，目前针对（自回归）大语言模型的 OPSD，普遍采用将参考解作为特权信息加入教师模型 prompt 中这一范式。这种方式简单直接，但也天然具有一定缺陷。例如，近期的相关工作表明，这一范式虽然给予了教师模型独特的先验知识，但也会让学生模型在蒸馏学习中产生幻觉，导致在最终推理时会默认 “参考解” 的存在，从而无法给出正确答案。
以上问题均指向同一个归宿：针对扩散大语言模型，有没有一种更为合适的 OPSD 范式？近期，清华大学和马普所等机构的研究者们联合推出的 d-OPSD，给这一问题提供了完美的答案。这是第一个针对扩散大语言模型的 OPSD 范式，无需参考解，无需额外的教师模型，只需要 RL 十分之一的训练步数，便可以达到或超出 RL 的后训练效果。d-OPSD 巧妙规避了教师模型对参考解的依赖，而是采用完全 On-policy 的学生轨迹来作为反馈给教师模型的特权信息。这一范式跳出了现有的 OPSD 桎梏，为扩散大语言模型，以及自回归大语言模型的后训练，揭示了全新的道路与方向。
- 论文标题：Learning from the Self-future: On-policy Self-distillation for dLLMs.
- 论文地址：https://arxiv.org/pdf/2606.18195
- 代码地址：https://github.com/xingzhejun/d-OPSD
从学生生成的自我 “未来” 出发
d-OPSD 最大的创新点，便是针对 dLLMs 的任意顺序生成特性，彻底重构了 OPSD 中教师模型的构建方法。不同于自回归模型严格遵循从左向右的顺序生成，dLLMs 迭代解码的特性使其具备任意顺序生成的能力，而这也为特权信息的注入提供了新的可能性。具体来说，d-OPSD 彻底抛弃了参考解注入的形式，而是让学生模型先自己在线采样，然后再将这些学生的自我 “未来” 随机保留，反馈给教师模型作为特权信息。除此之外，针对 dLLMs 迭代解码的特性，d-OPSD 也特意将 OPSD 的监督层级从 token 上升至 step，这为 OPSD 带来了更为精准的密集监督信号。
d-OPSD 的以上做法有两个好处。第一，特权信息也彻底变为 On-policy 由学生模型生成。之前的 OPSD 范式仅仅是在轨迹生成上由学生模型驱动，但在特权信息的注入上仍然是 Off-policy 的静态参考解。与之相比，d-OPSD 则进一步将 On-policy 的特性贯彻到底。打个比方来说，这种做法就相当于穿越小说中的主角，先让其经历人生未来中的重要选择与对应结果，然后再让其重生，成为 “先知先觉” 的金手指。第二，这种自教师构建能够带来合适的 “教师 - 学生” 差异。在蒸馏学习中，教师和学生之间的重叠与差异直接决定了训练效果的好坏。一个好的教师模型，既不能与学生差异过大（否则导致无法学习），也不能差异过小（否则导致无从学习）。D-OPSD 的研究团队经过严谨的实验，证明了其新颖的教师构建方式恰好能让教师模型处在一个 “拥有学生不会的新知识，但又能和学生拥有相当的共同语言” 的完美生态位，保证了蒸馏学习的知识迁移（详见下文）。
为了全面评估 d-OPSD 的有效性，研究团队在四个数学推理 benchmark 上进行了实验，并对比了 RL、SFT 等多种方法。结果显示，d-OPSD 不仅在大部分任务上展现出了更好的推理表现，更是在训练效率上远远超出了 RL。相比于 RL 需要上千步才能完成后训练的收敛，d-OPSD 仅仅只需要数百步便可以完成训练。这种对比再一次体现出了 d-OPSD 的设计优越性。
d-OPSD 的研究团队也特意针对传统的 “参考解注入” 这一 OPSD 范式进行了对比实验。在多个数学推理任务上，d-OPSD 均展现出了更好的推理能力。更为重要的，如前文所述，d-OPSD 为自教师模型找到了更为合适的生态位。研究团队以学生与教师模型之间的 TopK-distribution-overlap 为指标，全面地衡量了教师与学生之间的模型差异。结果显示，传统自回归模型中的 “参考解注入” 其实并不能带给教师模型足够的新知识，学生与教师之间过大的 overlap 限制了蒸馏学习的上限。与之相对的，d-OPSD 的范式为教师模型带来了足够的新知识（thinking mode），从而突破了后训练的上限。
在论文中，研究团队介绍了更多的方法与实验细节，并且实验代码也已经全部开源。d-OPSD 最大的意义，不仅在于它是第一个针对扩散大语言模型的在线自蒸馏学习范式，更在于它跳出了之前的 “参考解” 桎梏，为 OPSD 以及 OPD 提供了全新的思考与更多的可能性，并提供了一种切实可行的高效后训练路径。虽然方法不断迭代，路径不断更替，但最终的通用智能，一定诞生于简洁高效的训练手段，以及富有知识性的智能模型。
论文链接：https://arxiv.org/abs/2606.18195
热门跟贴