跳到主要内容
检索

# 多任务在线策略蒸馏

1 篇关联报道

订阅更新
  1. arXiv

    DuoOPD 用师生联合结果改写蒸馏反馈:Qwen3 宏观准确率较 OPD 提升 2.58 个百分点,Llama 提升 5.98 个百分点

    该工作提出 DuoOPD,一种多任务在线策略蒸馏方法:由学生自身的验证结果决定反馈方向,由教师与学生的联合结果决定教师如何提供支持——仅教师成功时把其已验证答案作为评分上下文,仅学生成功时用任务内共享权重强化整段回答,一条规则覆盖四种结果组合且无需任务特定设置;在 Qwen3 与 Llama 上,DuoOPD 在平均宏观准确率上超过全部五个基线,较 OPD 分别提升 2.58 和 5.98 个百分点,并在科学计算、指令遵循与代码生成等另外两个任务混合上同样领先。

已读完全部报道