跳到主要内容
检索

# 大模型推理基准测试

1 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    NVIDIA 发布 AIPerf:多进程负载客户端替代 GenAI-Perf,用 Qwen3-0.6B 演示静态与泊松两种 LLM 推理基准

    NVIDIA 推出 AIPerf——GenAI-Perf 的指定后继者与彻底重写版本,采用多进程加 ZMQ 架构以避免客户端成为瓶颈,支持 15 种以上端点类型与 constant、Poisson、gamma 等到达模式,并以 vLLM 服务的 Qwen3-0.6B 为例演示了固定 128 输入/128 输出 token 的静态基准与平均每秒 10 请求、输入长度 512±128 的泊松基准两种测量流程。

已读完全部报道