长序列蒸馏不再让教师全程接管:ATI-OPD只改写最早分歧段,学生独立答题平均准确率高于标准在线蒸馏
核心概要
在线蒸馏让学生用自己的回答接受教师逐词指导,但回答变长后学生的前缀会偏离教师自己的推理,后续反馈随之失真,训练出现梯度尖峰和超长回答。ATI-OPD在最早出现高分歧的片段处让教师插入一小段改写,再交还学生续写,并把持续分歧的尾部排除在蒸馏损失之外。在五个数学推理基准、两对1.5B师生模型上,学生脱离教师独立作答的平均准确率高于标准在线蒸馏。
深度剖析
长序列在线蒸馏的训练稳定性可以通过改写学生已生成的前缀来改善,而不只是限制回答长度或给损失重新加权。 此前的长度控制和损失重加权做法只限制从有问题的续写中学习,生成的前缀本身保持不变,固定截断还可能丢掉后面的推理。 在JustRL-DeepSeek这一对模型上,ATI-OPD让教师与学生预测的绝对差距在训练中维持更低水平、教师前16候选覆盖率维持更高水平更久,原始差距曲线下面积相对标准在线蒸馏下降,梯度更平稳、学生熵更低且波动更小。
教师只在最早出现高分歧的片段处插入一段有长度上限的改写,随后把续写交还学生,学生从改写后的文本继续自己的推理。 此前的教师参与方式包括混合采样分布、替换单个词元或接管剩余全部后缀,ATI-OPD改为按片段平均分歧触发、只做有界替换。 把原始触发段之后的学生续写与教师段之后的学生续写配对比较,每侧最多取16个有效词元,采样词元分歧在217个训练步上的平均配对下降为正,且193个训练步出现下降。
教师交还控制权后学生可能再次偏离,因此只对重新生成续写中未持续分歧的部分施加蒸馏监督。 全程监督整个续写与在教师段处停止监督是两个极端,ATI-OPD在两者之间按持续分歧选择监督范围。 在五个任务上,全程监督整个续写与在教师段处停止监督这两个极端都表现更差,说明交还控制权后仍存在有用的学生监督信号,而增加干预次数并不能替代选择监督范围。
启示与展望
演示范围是DAPO-Math-17K上的数学推理蒸馏,两对1.5B师生模型各一次训练,评测覆盖AIME 2024、AIME 2025、AMC 2023、AMO-Bench和HMMT February 2026;另有一个7B学生的探索性比较,只覆盖四个任务。
方法额外增加教师解码、学生重新生成和打分开销,且在完整生成之后才选择监督范围,因此并不减少这些解码成本;触发阈值敏感性比较每个设置只有一次训练,只能描述观察到的敏感性,不能确立统计意义上的最优阈值。
