长序列蒸馏不再让教师全程接管:ATI-OPD只改写最早分歧段,学生独立答题平均准确率高于标准在线蒸馏
在线蒸馏让学生用自己的回答接受教师逐词指导,但回答变长后学生的前缀会偏离教师自己的推理,后续反馈随之失真,训练出现梯度尖峰和超长回答。ATI-OPD在最早出现高分歧的片段处让教师插入一小段改写,再交还学生续写,并把持续分歧的尾部排除在蒸馏损失之外。在五个数学推理基准、两对1.5B师生模型上,学生脱离教师独立作答的平均准确率高于标准在线蒸馏。
在线蒸馏让学生用自己的回答接受教师逐词指导,但回答变长后学生的前缀会偏离教师自己的推理,后续反馈随之失真,训练出现梯度尖峰和超长回答。ATI-OPD在最早出现高分歧的片段处让教师插入一小段改写,再交还学生续写,并把持续分歧的尾部排除在蒸馏损失之外。在五个数学推理基准、两对1.5B师生模型上,学生脱离教师独立作答的平均准确率高于标准在线蒸馏。
已读完全部报道