跳到主要内容
返回时间线
arXiv来源发表:

VelServe 给每个解码步留出实测余量:P99 间隔目标下,SLO 有效吞吐最高达最强基线的 4.4 倍

核心概要

交互式大模型服务要求每个请求的 token 间隔满足 P99 时延目标,但一次超时的解码步会同时拖慢整批请求,长回答累积数百步后,偶发抖动就变成频繁违约。VelServe 用自身迭代时延的实测尾部为每个解码步留出余量,并以最短提示优先补回首 token 时延;在 Qwen3-8B 与 DeepSeek-V4-Flash 上,其 SLO 有效吞吐是最强基线的 2.4–2.9 倍,在 DeepSeek-V2-Lite 上至少 4.4 倍。在八卡预填充/解码分离部署中,满足 SLO 的请求数超过 vLLM 与 Niyama 的两倍。

Source-provided article image: VelServe: Taming Decode Jitters in LLM Inference with Tail-Calibrated Scheduling
arXiv

深度剖析

VelServe 把大模型推理中的解码抖动当作可调度的系统问题:解码步一旦超过 token 间隔目标,批内每个请求都会晚一个 token,而长回答要经历数百个解码步。 此前的 SLO 感知调度器把每步预填充填到预测时延刚好触及目标,没有为预测误差或主机停顿留空间;按平均每 token 时间或累计 token 截止时间设定的目标又会把长停顿平均掉。 在 Qwen3-8B 上,Medha 有 1.36% 的迭代超时、Niyama 有 2.15%,而 VelServe 为 0.00%;在 DeepSeek-V2-Lite 的 Mixed 负载、1.25 请求/秒、150 毫秒界下,基线只有 62–74% 的请求在 P99 上达标。

调度器按自身近期迭代时延的实测尾部决定每步能带多少预填充,并用最短剩余提示优先的顺序把余量占用的首 token 时间补回来。 余量取自运行中迭代残差的高分位秩统计,而不是离线拟合的分布或从其他负载搬来的固定值;顺序上短提示可在块边界抢占长预填充,长提示的截止时间随提示长度增长,因而仍有富余。 在 Qwen3-8B 上,负载下自身迭代把余量从初始 2.3 毫秒抬到约 50 毫秒;消融中只加顺序或只加预算都无法让三分之二以上请求达标,两者合用才在最高负载下保持 90% 以上达标率。

启示与展望

评测覆盖单卡聚合部署下的 Qwen3-8B、DeepSeek-V2-Lite 与 DeepSeek-V4-Flash,以及一个八卡节点上四卡预填充、四卡解码的 DeepSeek-V4-Flash 分离部署;主 SLO 为首 token 时延随提示长度缩放、每请求 P99 token 间隔不超过 150 毫秒。分离部署结果来自单一节点、单一模型、单一引擎与单条 Mooncake 轨迹。

余量校准存在滞后:预算会立即下调,但需连续两次提议才上调,突发更深的停顿可能在余量追上之前损失部分达标率。主机停顿长到任何预算都无法吸收时,VelServe 会把该 SLO 标记为不可行;在 DeepSeek-V2-Lite 上,低于 150 毫秒的界受约 100 毫秒的主机停顿限制。在 Mooncake 形状的提示长度下,DeepSeek-V4-Flash 的 SLO 有效吞吐降到 Mixed 负载的一半以下,损失主要是中长提示的首 token。