SFT(有监督微调)被严重低估了。退化这口锅,大部分时候是配方背的。
先把概念拆开看。SFT 本质是用带标准答案的训练数据微调模型,让它按期望格式输出。损失函数是目标 token 上的交叉熵:L_SFT = −Σ_t log π_θ(y_t | x,y_。听起来简单,但很多人对它有误解——以为微调必然伤通用能力,其实关键在于数据配方。
退化从哪来?不是方法本身的问题,而是糟糕的数据配比。用 100% 教师轨迹、低 batch size 训练,或者在长推理轨迹上训练却没正确设置学生模型的聊天模板,都会导致通用能力下降和灾难性遗忘。
DiPietro 给出的有效配方,核心是保留锚点、防止分布收窄:
- 每个 batch 中混入约 25% 的高质量学生推理轨迹
- 扩大 batch size
- 调节学习率
- 使用拒绝采样后的教师轨迹
- 必要时对学生基模型加小 KL 惩罚:L = L_SFT + β · KL(π_θ ‖ π_ref)
按这套配方走,可以弥合约 80% 的差距,且退化极小。混入学生自己的推理轨迹这一步尤其关键——它让模型在学教师的同时不丢掉原有的分布,相当于给微调留了一个锚点。
需要提醒的是,这些经验数字属于个人经验法则,不是实验数据,不能当作测量结论来引用。配方可以照着试,但别把 25% 和 80% 当成定理。
热门跟贴