跳到主要内容
检索

# 学生增量在线策略蒸馏(SD-OPD)

1 篇关联报道

订阅更新
  1. arXiv

    蒸馏信号被风格词抢走:SD-OPD改由学生自身变化定强度,数学均分比OPD高7.76到10.37分

    在线策略蒸馏(OPD)用教师与学生的对数概率差作为每个词的更新强度,但在数学推理回答上,风格类位置的这一差值平均是数学位置的3.5倍,更新因此偏向模仿教师的表达方式。SD-OPD改为以学生自己的预训练基座为参照,用学生相对基座的对数概率变化决定更新强度,只在符号与教师反馈一致时保留,并在每轮训练后重算学生信号。在5组教师—学生配置、Qwen3学生1.7B至8B参数上,SD-OPD把六项数学基准的平均pass@1(avg@16)相对OPD提高7.76至10.37个百分点。

已读完全部报道