英伟达Vera Rubin首登MLPerf:训练每GPU性能最高翻倍,智能体推理每瓦吞吐超上代10倍
核心概要
英伟达Vera Rubin平台首次参加MLPerf基准测试,在训练、后训练与智能体推理三类负载上提交结果。训练侧,Vera Rubin NVL72在首秀中每GPU性能最高达到经过高度优化的GB300 NVL72的两倍;在DeepSeek-V3基准上,它从256块GPU扩展到1024块GPU时保持约97%的扩展效率,训练时间由16分钟缩短到约4分钟。首次提交的MLPerf Endpoints中,Vera Rubin NVL72在Kimi K3的暂定结果上,于相同响应速度下每瓦吞吐超过GB300 NVL72的10倍。
深度剖析
英伟达Vera Rubin平台在首次MLPerf亮相中同时覆盖训练、后训练和智能体推理,并在本轮MLPerf Training v6.1的每一项基准上都提交了结果,是唯一做到这一点的平台。 此前的对照是经过高度优化的英伟达GB300 NVL72系统;Vera Rubin NVL72在首秀中每GPU性能最高达到它的两倍,这一数字被描述为早期结果。 本轮MLPerf Training v6.1覆盖大语言模型、图像生成、推荐系统和强化学习后训练,Vera Rubin NVL72在每一项上都有结果,而其他系统没有全部覆盖。
规模扩展上,Vera Rubin NVL72在DeepSeek-V3基准上从256块GPU扩到1024块GPU,GPU数量翻两番,训练时间从16分钟降到约4分钟。 这一扩展过程保持约97%的效率,说明增加GPU仍能接近线性地缩短训练时间。 同一轮中,英伟达还用GB300系统在10240块GPU上运行了该基准,是本轮最大规模;微软Azure用10240块GB200 GPU达到了相同规模。
在首次提交的MLPerf Endpoints中,Vera Rubin NVL72在所有智能体基准上领先,衡量的是每秒每瓦能生成多少token,也就是同样功耗下能服务多少智能体工作。 对照仍是GB300 NVL72;在Kimi K3这一面向智能体工作流的大型开放模型的暂定结果上,Vera Rubin NVL72在相同响应速度下每瓦吞吐超过GB300 NVL72的10倍。 MLPerf Endpoints在真实的智能体编程与企业工作流上测试系统,并检查智能体是否仍正确完成任务,而不只测吞吐。
启示与展望
已展示的范围是MLPerf Training v6.1与MLPerf Endpoints的提交结果,覆盖大语言模型、图像生成、推荐系统、强化学习后训练以及智能体编程与企业工作流;代际对比被明确称为早期结果,Kimi K3一项为暂定结果。
英伟达表示Vera Rubin的性能会随CUDA软件栈的持续优化继续提升,因此当前数字不是终点;每GPU两倍的代际对比被描述为早期结果,Kimi K3的每瓦吞吐对比为暂定结果。
