异步强化学习不再只靠拆分:ASP 离线排一次批,迭代时间比 MindSpeed-RL 最多降 76.8%
核心概要
大模型强化学习后训练把生成与训练拆到不同机器后,多实例生成仍会因输出长度参差和按长度排序派发而出现空转与队列忽满忽空。ASP 在训练前做一次离线预处理:先预测每条提示的输出长度,用动态规划拼出长度相近的解码小批,再把小批重排成预测负载均衡的批次组。在昇腾 910B3 上,完整 ASP 相对 MindSpeed-RL 把平均迭代时间最多降低 76.8%,相对 verl 最多降低 62.5%。
深度剖析
多实例异步强化学习多了一层此前未被单独处理的调度问题:生成侧每个解码小批要尽量填满,同时送往训练侧的样本到达速率要保持平稳。 把生成与训练拆开、让多个生成实例并行,并不能消除单实例推理的早期扩展平台期;而按预测长度排序提示虽能减少批内长度差异,却会让短小批先发、长小批后发,使训练队列先积压后见底。 在 39,000 条实测 Qwen3-32B 回复上,按预测长度排序把批组负载变异系数从 0.103 抬到 0.403,组间最大最小负载比从 1.68 升到 9.88;加入均衡排序后,同一批小批的变异系数降到 0.070,填充率保持 0.224 不变。
调度被做成训练前的一次离线预处理,不占用 rollout 期间的在线决策。 此前按长度排序只解决批内效率,动态规划微调小批边界对时间不均衡几乎没有作用。 动态规划把平均填充率从 0.226 微调到 0.224,负载变异系数仍为 0.401;随后用模拟退火重排小批,把变异系数压到 0.070,而随机打乱只到 0.162。
完整系统在真实训练中同时缩短迭代时间并提高吞吐。 在同一套 ASP 架构内开关调度,可以直接看出调度本身贡献多少,而不只是拆分架构带来的收益。 Qwen3-30B-A3B 的完整训练中,开启调度把平均迭代时间从 238 秒降到 212 秒(10.9%),端到端吞吐从 47 提到 58 tokens/s/NPU(23.4%),首个迭代从 1042 秒降到 724 秒。
启示与展望
演示范围是昇腾 910B3 NPU 上的 MindSpeed-RL 实现,使用 GRPO、Qwen3-30B-A3B 与 Qwen3-32B 做端到端对比,Qwen3-8B 用于调度消融与预测敏感性实验,可扩展性测试止于 128 个 NPU。读者对象是搭建异步强化学习后训练流水线的系统与算法工程师。
输出长度预测器在训练全程固定,主运行中平均回复长度仅漂移 1.6%,更长训练、更强策略变化或课程调整可能需要重新预测。收敛验证只在 Maze-Reasoning-GRPO-v0.1 上跑 30 个 GRPO 迭代,实测策略滞后约 3.3 个训练步。与 StreamRL、AsyncFlow、AReaL、Laminar 的直接对比未进行。内部电信部署因流程与数据保密,只作为定性证据报告。
