NVIDIA Dynamo 接入强化学习训练回路:路由、增量权重与故障恢复一起压缩 rollout 等待
核心概要
NVIDIA Dynamo 把服务层的路由、权重分发和故障恢复能力放进强化学习训练回路,针对 rollout 完成时间、重复上下文和权重新鲜度三类瓶颈。它用路由在 KV 缓存复用与工作负载之间取平衡,用 ModelExpress 复用集群内已有权重并以增量方式传输变化,在 worker 失效时把新请求导向可用容量。公开的采用情况包括 CoreWeave 报告权重更新最高加速 15 倍,H Company 报告平均训练步时间最多降低 20%、GPU 小时最多降低 5%。
深度剖析
强化学习训练中的 rollout 生成开始由专门的 serving 层接管,Dynamo 位于 rollout 编排与推理 worker 之间,负责路由、worker 管理、serving 控制和遥测。 此前的做法是把请求数量平均分到各 GPU 上,但推理负载本身并不均匀,一个推理 rollout 可能只有一次响应,而编码智能体的 rollout 会包含仓库探索、编辑、工具调用和测试。 Dynamo 把生成与权重管理分成两条路径:请求走共享的 serving 前端,刷新操作只针对框架选定的 worker,由强化学习框架决定 worker 何时可以生成样本、哪些结果可以进入训练。
路由的目标是让训练所需样本更早完成,而不是单纯提高缓存命中率。 把同一提示的多个请求都送到已缓存该提示的 worker 可以省去重复计算,但会让该 worker 排队,拖慢 rollout 和下一步训练。 Dynamo 的路由器在 KV 缓存复用与 worker 负载之间取平衡,以减少重复计算和等待;权重侧由 ModelExpress 复用集群内已有权重,兼容的 worker 可通过 NIXL 直接从另一块 GPU 复制权重,增量传输只发送变化的压缩表示,由 worker 从匹配的基础版本重建新权重。
启示与展望
报道范围限于 NVIDIA 对 Dynamo 在强化学习 rollout 推理中的定位与组件分工,以及各方公布的采用描述;CoreWeave 的 15 倍权重更新加速和 H Company 的训练步时间、GPU 小时降幅均为其各自使用场景下的报告值。
Dynamo 的优化效果取决于哪一类约束在限制具体工作负载,不同任务需要不同的优化选择;权重更新还须符合算法对采样与可接受陈旧度的要求,由强化学习框架协调 worker 何时应用更新并检查就绪状态。
