跳到主要内容
检索

# VelServe调度器

1 篇关联报道

订阅更新
  1. arXiv

    VelServe 给每个解码步留出实测余量:P99 间隔目标下,SLO 有效吞吐最高达最强基线的 4.4 倍

    交互式大模型服务要求每个请求的 token 间隔满足 P99 时延目标,但一次超时的解码步会同时拖慢整批请求,长回答累积数百步后,偶发抖动就变成频繁违约。VelServe 用自身迭代时延的实测尾部为每个解码步留出余量,并以最短提示优先补回首 token 时延;在 Qwen3-8B 与 DeepSeek-V4-Flash 上,其 SLO 有效吞吐是最强基线的 2.4–2.9 倍,在 DeepSeek-V2-Lite 上至少 4.4 倍。在八卡预填充/解码分离部署中,满足 SLO 的请求数超过 vLLM 与 Niyama 的两倍。

已读完全部报道