跳到主要内容
返回时间线
arXiv来源发表:

蒸馏信号被风格词抢走:SD-OPD改由学生自身变化定强度,数学均分比OPD高7.76到10.37分

核心概要

在线策略蒸馏(OPD)用教师与学生的对数概率差作为每个词的更新强度,但在数学推理回答上,风格类位置的这一差值平均是数学位置的3.5倍,更新因此偏向模仿教师的表达方式。SD-OPD改为以学生自己的预训练基座为参照,用学生相对基座的对数概率变化决定更新强度,只在符号与教师反馈一致时保留,并在每轮训练后重算学生信号。在5组教师—学生配置、Qwen3学生1.7B至8B参数上,SD-OPD把六项数学基准的平均pass@1(avg@16)相对OPD提高7.76至10.37个百分点。

AI-generated editorial illustration: Reinforcing What the Student Has Learned: Teacher-Guided On-Policy Distillation

深度剖析

数学推理的蒸馏更新强度不再由教师与学生的分歧大小决定,而由学生相对自身预训练基座已经形成的变化决定,教师只负责判断方向。 此前的在线策略蒸馏把教师—学生对数概率差直接当作逐词更新系数,这一差值同时包含表达差异与推理差距。 在DAPO-Math的8,192条回答上,风格类位置的平均绝对教师—学生对数概率差为1.226,数学位置为0.347,前者是后者的3.5倍;换成更大的教师或在GSM8K上,这一差距仍然存在。

具体做法是取学生与冻结基座的对数概率差并做中心化,得到逐词系数,再用教师反馈的符号做门控。 学生相对基座的变化本身也偏向风格位置,风格与数学的幅度比为4.1,因此需要筛选。 同一符号门控下,若幅度仍取自教师—学生差,风格与数学之比为3.7;改用学生—基座幅度后降到3.1,风格幅度下降40.3%。

在5组教师—学生配置中,SD-OPD在全部六项数学基准上都优于OPD,并在每组配置里取得最高的六项平均分。 对照包括初始学生、OPD与ExOPD,三者共享相同的rollout与回答预算。 六项平均相对OPD提高7.76至10.37个百分点,相对ExOPD提高3.45至14.89个百分点;以Qwen3-30B-A3B-Instruct-2507为教师时,8B学生平均76.11%,高于教师的73.82%。

启示与展望

评估覆盖两个模型家族的三个教师检查点与Qwen3的1.7B、4B、8B学生,任务限于数学推理,六项基准为AIME24、AIME25、AIME26、HMMT25、AMC23与MATH500,各方法共享rollout与回答预算。

词类分析使用固定的规则化类别,跨模型与数据集保持不变;方法需要学生的预训练基座,且每轮多一次基座打分;作者把扩展到更大模型与其他领域列为后续工作,训练动态中长度与熵曲线尚未完全进入平台期。