异步强化学习不再只靠拆分:ASP 离线排一次批,迭代时间比 MindSpeed-RL 最多降 76.8%
大模型强化学习后训练把生成与训练拆到不同机器后,多实例生成仍会因输出长度参差和按长度排序派发而出现空转与队列忽满忽空。ASP 在训练前做一次离线预处理:先预测每条提示的输出长度,用动态规划拼出长度相近的解码小批,再把小批重排成预测负载均衡的批次组。在昇腾 910B3 上,完整 ASP 相对 MindSpeed-RL 把平均迭代时间最多降低 76.8%,相对 verl 最多降低 62.5%。
大模型强化学习后训练把生成与训练拆到不同机器后,多实例生成仍会因输出长度参差和按长度排序派发而出现空转与队列忽满忽空。ASP 在训练前做一次离线预处理:先预测每条提示的输出长度,用动态规划拼出长度相近的解码小批,再把小批重排成预测负载均衡的批次组。在昇腾 910B3 上,完整 ASP 相对 MindSpeed-RL 把平均迭代时间最多降低 76.8%,相对 verl 最多降低 62.5%。
已读完全部报道