SlideDP 让多 GPU 共享主机内存的全参数微调提速 1.46–2.64 倍,并在四张 H100 上以更大批次超过 FSDP2 峰值 11.2%
SlideDP 提出一种面向共享主机多 GPU 系统的同步数据并行运行时,通过维护单一权威主机状态、将通信路径与状态布局解耦、并在 rank 与 chunk 之间流水化参数下发、梯度聚合与 CPU 更新,在匹配批次扫描中对 SlideFormer、MegaTrain 和 ZeRO-Offload 取得 1.46–2.64 倍的几何平均吞吐比,在四张 H100 上以较小批次接近 GPU 常驻的 FSDP2、以较大批次超过其测得峰值吞吐 11.2%,并支持 Qwen3-14B 的 256K token 序列以及在四张 RTX 4090 上微调 Qwen2.5-72B。