强化学习训练大模型,算力到底花在哪?答案可能和很多人想的不一样:主要花在搜索上,不在梯度更新。模型在“语义策略”的空间里探索,靠运气碰到新策略。Thinking Machines Lab 提出的同策略蒸馏(On-Policy Distillation),正是冲着这笔探索开销去的。

方法本身不复杂。学生模型在自身轨迹上采样生成,老师模型对每个 token 逐一打分,用反向 KL 作为奖励,形成稠密奖励信号,再交给 RL 更新。相比传统 RL 只在终点拿到稀疏反馈,逐 token 的评分把信息密度拉高了一个量级。

效果落在具体数字上。以 Qwen3-8B-Base 为例,先做 SFT 后 AIME 成绩为 60%;同策略蒸馏只用 150 步就达到 70%,而完整 RL 训练需要 17920 GPU 小时。AIME'24 上的成绩也接近老师模型。

成本折算有几个口径:已有 SFT 数据时,成本低约 9 倍;按 GPU 小时算约 18 倍;如果把老师采样成本也算进离策略方案,约 30 倍。整体上,这套方法在数学推理、个性化助手、持续学习三类场景中实现了 9 到 30 倍的算力节省。

后两类场景更贴近工程现实。个性化微调中,蒸馏可以恢复因 mid-training 而下降的指令遵循能力;持续学习里,交替进行蒸馏与微调,能防止数据偏差导致的模型退化。对企业内部助手这类需要反复调优的落地场景,这条路径的性价比值得算一算。