清华LeapLab用二值方向奖励替代KL散度,在数学与代码基准上追平甚至超过在线策略蒸馏,并提出C-MOPD多教师方案
该工作重新审视在线策略蒸馏(OPD)中反向KL散度的必要性,提出仅保留更新方向的二值奖励BinaryOPD,在数学与代码任务的多组师生配对上取得与OPD相当或略优的结果,并进一步发现只有教师与学生分歧较大的少量token的方向才是关键,据此提出让所有教师共同监督每个样本的C-MOPD,在数学与代码基准上稳定优于MOPD。
该工作重新审视在线策略蒸馏(OPD)中反向KL散度的必要性,提出仅保留更新方向的二值奖励BinaryOPD,在数学与代码任务的多组师生配对上取得与OPD相当或略优的结果,并进一步发现只有教师与学生分歧较大的少量token的方向才是关键,据此提出让所有教师共同监督每个样本的C-MOPD,在数学与代码基准上稳定优于MOPD。
已读完全部报道