跳到主要内容
检索

Gengsheng Li

1 篇关联报道

订阅更新
  1. arXiv

    8 条真实提示词即可媲美 1.7 万题:无数据在线策略蒸馏用 64 个自生成问题达到全量数据水平

    该工作在两个单教师在线策略蒸馏(OPD)设置中发现,仅用 8 条真实提示词训练即可达到用 1.7 万个问题训练的效果,且难度与初始蒸馏差距差异很大的数据集结果相近;据此提出无数据在线策略蒸馏(DF-OPD)设置,用 64 个无种子示例的自生成问题即可媲美全量数据 OPD,并在多教师 OPD 中(数学、代码、指令跟随)用 1k 生成问题达到约 7k 真实后训练样本的水平。

已读完全部报道