大语言模型的在线策略蒸馏方法

在线策略蒸馏不同于经典知识蒸馏之处在于，它不是基于教师预先写好的固定文本对学生进行评分，而是对学生自己生成的轨迹进行评分。一个更强的教师模型会对学生自身 rollout 中的每一个token进行评分，通常使用反向KL散度，从而提供一种类似于强化学习但计算成本低得多的密集逐token奖励信号^[1]。由于监督发生在学生实际访问的状态上，在线策略蒸馏避免了损害纯离线方法的暴露偏差问题——即仅在教师编写文本上训练的模型一旦开始自主生成，就容易偏离并累积错误^[2]。在Thinking Machines Lab的原始基准测试中，这种组合使学生模型仅用1,800 GPU小时就在AIME'24上达到了74.4%的准确率，而纯强化学习在17,920 GPU小时下达到67.6%，离线策略蒸馏在40万样本上训练后达到60%——据称比强化学习快7到10倍，并将累计计算量减少了50到100倍^[1]。

在原始博客发布一年后，2026年9月下旬出现了一组密集的学术论文，每篇都针对基础配方中的某个具体缺陷，而非提出彻底替代方案。插值策略蒸馏（IPD）将离线/在线策略的划分转化为可调节的连续体，通过推测性解码逐token混合学生与教师的token分布，以控制额外计算开销^[3]。交互式策略蒸馏解决了研究人员所称的“教师失锚”问题——在训练初期，较弱的学生会进入教师从未见过的前缀区域——通过让学生与教师轮流担任提议与验证角色，仅用标准在线策略蒸馏约四分之一的训练样本就报告了显著的准确率提升^[4]。SIPO将强化学习与自蒸馏融合进一个对比式自教师框架，将正确参考答案与学生自身的错误配对，实现无需外部教师的密集token级信用分配^[5]。SAKI由美团与KTH皇家理工学院合作开发，根据学生rollout与教师的偏离程度，在反向KL与直接token修正之间动态切换监督方式，并通过推测性验证器报告了大幅提高的rollout吞吐量^[6]。B-OPSD以不同方式应对锚定问题，先暂时将策略训练超前以创建“未来教师”，再重置并用该教师监督原始学生^[7]。同期其他论文则针对正交弱点：有研究显示，在“思考模式”下蒸馏的小型学生模型未能继承教师的停止行为，即使已学会解题，仍会在正确答案后继续生成^[8]；另一项研究发现，提示在蒸馏中的效用高度不均，且依赖于特定教师而非提示本身的固有属性——少数提示即可匹敌数千提示的效果，但刻意筛选提示并不比随机选择更可靠^[9]；第三项研究引入了基于双层优化的逐token加权机制，使更小的学生模型在数学基准上实际超越了更大的教师模型^[10]。

这一切并非没有代价。在线策略蒸馏要求教师模型在整个训练过程中驻留在内存中，并与学生并行执行推理，这是一种离线策略方法所不具备的结构性开销。这也正是为何有实践者认为，只有当离线数据确实无法覆盖学生将实际访问的状态时，在线策略蒸馏才真正值得采用，且在学生与教师能力相近、任务无需极长生成时效果最佳^[11]。大多数已发表的变体，包括原始配方，也主要局限于来自同一模型家族的师生对，以确保token级监督能清晰对齐——这一限制促使社区另辟蹊径，致力于将该技术扩展至不同分词器之间，因为在实际部署中，很少能免费获得同家族的教师模型。

效率数字并未解决在线策略蒸馏究竟在教学生什么这一根本问题。一些观察者认为该机制是直接的知识迁移：教师的逐token判断将真正的推理能力注入学生权重中。另一些人则指出，反向KL式奖励项在实践中更像是一种对不良token的抑制——一种有限的、主要是负面的纠正——而非向学生注入新的正向知识。另一条研究路径为“抑制说”提供了支持：有论文发现，无需对每个token评分，仅集中监督轨迹中低至1%甚至更低比例的token，即可达到与全token评分相当的效果，这表明只有少数token实际承载了纠正信号。这一区别对技术的可扩展性至关重要：如果真实机制更接近于修剪不良行为而非能力迁移，那么引人注目的高效数字可能无法外推至更难的任务或师生间更大的能力差距。这场争论也未局限于论文与论坛——在原始公告发布一年内，该话题已延伸至独立的讲解视频和面向更广泛技术受众的播客专题，表明这一理念已超越狭窄的研究领域。