NVIDIA 发布 AIPerf:多进程负载客户端替代 GenAI-Perf,用 Qwen3-0.6B 演示静态与泊松两种 LLM 推理基准
NVIDIA 推出 AIPerf——GenAI-Perf 的指定后继者与彻底重写版本,采用多进程加 ZMQ 架构以避免客户端成为瓶颈,支持 15 种以上端点类型与 constant、Poisson、gamma 等到达模式,并以 vLLM 服务的 Qwen3-0.6B 为例演示了固定 128 输入/128 输出 token 的静态基准与平均每秒 10 请求、输入长度 512±128 的泊松基准两种测量流程。