两张DGX Station跑起7530亿参数GLM-5.3:权重全留显存,单端点并发16时吞吐607.8 tok/s
核心概要
NVIDIA的教程把Z.ai的混合专家模型GLM-5.3的NVFP4量化版放到两台DGX Station上,用vLLM的张量并行把约464 GB的检查点分到两块GB300 GPU,关闭CPU卸载,由A机通过一个OpenAI兼容接口对外服务。单卡HBM3e只有252 GB,装不下这份检查点;在两机部署下,SPEED-Bench Coding提示的实测吞吐在并发16时达到607.8 tok/s,并发升到32反而回落到385.0 tok/s。
深度剖析
一台GB300 GPU的252 GB HBM3e装不下约464 GB的GLM-5.3 NVFP4检查点,两台DGX Station经ConnectX-8 RDMA连成一体后,7530亿参数的模型可以全部驻留GPU显存,不再依赖CPU权重卸载。 此前的限制是单机显存容量:模型每个token只激活400亿参数,但每个token可能被路由到不同专家,全部权重必须随时可用,因此稀疏激活省下的是计算而不是显存。 启动日志报告每块GPU约218 GiB权重,约为检查点的一半;nvidia-smi显示A机运行VLLM::Worker_TP0、B机运行VLLM::Worker_TP1,各占一块GPU。
服务以张量并行TP=2运行,两台机器共同计算每个请求,只有A机对外提供OpenAI兼容API,B机以headless worker身份参与。 张量并行把模型的张量切分到两块GPU上,每个token都需要两个rank经RoCE链路交换部分结果,因此任何一块GPU都无法单独回答请求。 NCCL日志检查确认走GPU Direct RDMA而非TCP回退,且无NCCL警告;健康检查在A机返回HEALTH_OK,一次聊天请求以finish_reason: stop正常结束。
在80条SPEED-Bench Coding对话上,开启前缀缓存、每步4个MTP草稿token和FP8 KV缓存时,整体吞吐在并发16达到607.8 tok/s,并发32降到385.0 tok/s。 并发提高并不单调带来吞吐:并发32时平均请求延迟为453.5 s,平均每用户吞吐从并发1的115.3 tok/s降到13.0 tok/s。 表2列出并发1、8、16、32四档的整体吞吐分别为107.4、386.0、607.8、385.0 tok/s,延迟指标为实测请求的均值,预热请求不计入。
启示与展望
演示范围是两台经ConnectX-8 RDMA互联的GB300 DGX Station,运行固定版本的vLLM容器与固定修订的GLM-5.3 NVFP4检查点,关闭CPU权重卸载;性能数字来自SPEED-Bench Coding的80条对话、默认推理强度与8192 token输出上限。
吞吐随并发非单调变化,并发32时整体吞吐回落到385.0 tok/s、平均请求延迟升至453.5 s;MTP带来的收益取决于草稿被接受的比例,而该比例随提示变化。教程也提示,去掉前缀缓存后性能可能与表2不同。
