英伟达Vera Rubin首次亮相MLPerf训练榜:七项基准中六项训练时间最短,DeepSeek-V3上每GPU约快2倍
核心概要
英伟达Vera Rubin架构在MLPerf Training v6.1首次提交成绩,其NVL72平台在七项基准中的六项取得最短训练时间,相对高度优化的GB300 NVL72基线最高提升2倍。在6710亿参数的DeepSeek-V3上,Vera Rubin NVL72用1024块GPU把训练时间从8.03分钟压到4.14分钟;第七项基准的最快绝对成绩则由10240块GPU的GB300 NVL72以1.38分钟取得。英伟达称Vera Rubin从256块扩展到1024块GPU时保持97%以上的整体扩展效率。
深度剖析
英伟达的Vera Rubin架构首次进入MLPerf Training基准,其NVL72整机平台在七项基准中的六项跑出本轮最短训练时间,相对英伟达自家高度优化的GB300 NVL72基线最高快2倍。 此前该架构没有MLPerf训练成绩;本轮对照的是同一批模型、同一GPU数量下已调优的GB300 NVL72配置。 在6710亿参数的DeepSeek-V3基准上,Vera Rubin NVL72用1024块GPU、16个机架训练耗时4.14分钟,GB300 NVL72在相同1024块GPU配置下为8.03分钟,接近每GPU 2倍,是本轮最大的代际提升。
其余基准的领先幅度落在1.4倍到1.6倍之间,覆盖稠密模型、混合专家模型、扩散模型和推荐模型,说明提升不限于单一模型形态。 同一轮中,GB300 NVL72在第七项基准DeepSeek-V3上以10240块GPU取得1.38分钟的最快绝对成绩,两种平台各自承担不同的展示角色。 按基准逐项比较,Qwen3.5 397B GRPO为1.4倍(64块GPU)、gpt-oss 20B为1.6倍(64块GPU)、Llama 2 70B LoRA为1.5倍(72块GPU)、Llama 3.1 8B为1.6倍(72块GPU)、FLUX.1为1.5倍(72块GPU)、DLRMv4为1.4倍(128块GPU)。
支撑这些时间的是机架内与机架间的网络协同设计:机架内72块GPU和36块CPU通过铜缆NVLink 6全互联,机架外经ConnectX-9 SuperNIC接入InfiniBand或以太网。 混合专家模型每次迭代都会产生成批的全对全通信,通信效率直接体现在训练时间上。 NVLink 6域提供每GPU 3.6 TB/s、每机架260 TB/s的带宽,两种外部网络都用自适应路由和拥塞控制把全对全通信压在计算之后;DeepSeek-V3上从256块扩展到1024块GPU(4到16个机架)保持97%以上的扩展效率。
启示与展望
这些数字是英伟达在MLPerf Training v6.1中提交并经MLCommons收录的成绩,比较对象是英伟达自家的GB300 NVL72基线,而非其他厂商系统;文中另列的新软件版本复跑结果未经MLCommons验证,也未经过MLPerf评审。
英伟达称Vera Rubin的CUDA软件栈在首次亮相时已相当成熟,并预期随着栈的成熟,初始性能优势会继续释放;这一预期尚未由后续MLPerf轮次验证。文中给出的新软件版本复跑结果被明确标注为未验证,可能采用与MLPerf规范不一致的测量方法或负载实现。
