跳到主要内容
检索

Tianze Xu

1 篇关联报道

订阅更新
  1. arXiv

    MOPD-Router 用 token 级路由取代领域标签硬路由,在无标签混合数据上把多教师蒸馏总分提高 5.88 分

    该工作提出 MOPD-Router,一个无需领域标签、也无需训练单独路由模型的多教师在线策略蒸馏框架,在每个 token 上对全部教师池进行选择与加权,并给出 ExpertAlign 这一以“教师相对共享预 RL 基座所获得的专长方向”与“其对当前学生的教学方向”之间正余弦对齐为评分依据的指标;在无标签与有标签两种训练混合、强到弱与同规模两种蒸馏场景共四个设置中,ExpertAlign 总体表现最佳,无标签数据上较 Mean 聚合提升 5.88 分(+12.3%),有标签数据上在不使用领域标签的情况下较标准 MOPD 提升 3.95 分(+7.8%)。

已读完全部报道