英伟达Vera Rubin NVL72跑智能体推理:每千瓦吞吐超GB300 NVL72十倍,结果仍待验证
核心概要
英伟达公布MLPerf Endpoints v1.0的暂定结果:在Kimi K3上,Vera Rubin NVL72在每用户端到端平均交互性不低于50 tokens/s的共同门槛下,每千瓦配置功率吞吐超过GB300 NVL72十倍。该基准用编码与企业工作流经API端点考察服务容量与响应性的平衡,并另以SWE-bench Verified检查端到端解题能力。Vera Rubin成绩尚未经MLCommons验证,可能随同行评审变化。
深度剖析
英伟达给出的暂定结果显示,Vera Rubin NVL72在智能体推理上把每千瓦配置功率的吞吐推到GB300 NVL72的十倍以上,同时守住每用户每秒50个token的端到端平均交互性下限。 此前的对照是已由MLCommons验证的GB300 NVL72成绩;两者比较的是同一交互性门槛下的每千瓦吞吐,而非单纯的总吞吐。 Kimi K3上,Vera Rubin NVL72以32块加速器、1024查询并发运行,系统吞吐41414.2 tokens/s、端到端平均交互性50.4 tokens/s每用户、运行功率100.89 kW;GB300 NVL72以48块加速器、48查询并发运行,系统吞吐2210.4 tokens/s、交互性56.2 tokens/s每用户、功率60 kW。
这套成绩来自硬件、系统架构与服务软件的共同设计,让智能体反复复用的对话历史不必每次重算。 智能体负载会跨轮次累积历史,并混入推理、工具调用与回复,服务系统需要同时保住可复用状态、把请求分摊到多个工作单元,并分别优化提示处理与逐token生成。 前缀缓存与状态复用减少重复计算,英伟达Dynamo负责路由与负载均衡,分离式服务让prefill与decode各自独立调优;针对三种模型还分别定制了内核、算子融合、内存访问与推测验证,例如DeepSeek的MegaMoE内核利用Rubin GPU的局部性与矩阵乘指令。
启示与展望
这里展示的是MLPerf Endpoints v1.0标准化部门Available类别下Kimi K3、DeepSeek-V4.1-Flash与Qwen3.6-35B-A3B三个模型的提交成绩,比较口径为满足给定最低端到端平均交互性时的每千瓦吞吐,或匹配并发下的交互性。读者应把它当作特定基准与特定硬件配置下的服务性能,而非通用部署结论。
Vera Rubin的提交结果为暂定,尚待MLCommons协会验证,并可能随同行评审变化;GB300的结果已由MLCommons验证。吞吐与交互性的比较按各平台满足门槛的最佳点选取,比值经过取整。
