长输出推理不再被反复驱逐:Stint把最长停顿压到50秒内,同引擎吞吐升12%
核心概要
推理模型的长输出让键值缓存长时间占满GPU显存,请求被驱逐后往往反复丢失又恢复状态,却几乎不产出新token。Stint把被驱逐请求的缓存快照存进CPU连续区间,用批量传输搬回,并按等待时长给它一次受保护的解码机会。在IMO-AnswerBench回放上,Qwen3-32B的请求最长停顿不超过49.3秒,而重算、LMCache与HiCache基线有21%至23%的请求停顿超过一分钟;相对同引擎重算,p99每token时间下降50.7%,吞吐提高12.0%。
深度剖析
长输出推理服务里,被驱逐的请求可以反复失去并恢复状态,却只产出很少新token,这种循环被称为KV thrashing。 在399道奥赛数学题的回放中,重算、LMCache和SGLang with HiCache各自让21%至23%的请求停顿超过一分钟,约六分之一超过五分钟。 重算下最长的一次停顿占该请求生命周期的72%,而Stint下没有任何请求停顿超过49.3秒,也没有一次停顿超过生命周期的8.4%。
Stint把被驱逐请求的KV快照按已知长度存进CPU的连续区间,搬回GPU后再给它一段只计新token的解码时间。 此前的做法要么丢弃KV、恢复时重算旧上下文,要么把分散的GPU块逐个搬运,恢复后仍可能立刻被再次驱逐。 在八块H200上以四个两卡副本服务BF16 Qwen3-32B,回放IMO-AnswerBench全部399道题,三次配对运行中相对重算吞吐提高11.99%、p99每token时间下降50.69%。
启示与展望
演示范围是稠密模型Qwen3-32B与Llama-3.1-8B、每个副本最多两张GPU(分配器研究为四张)、vLLM 0.9.2上的固定长度回放与自然结束回放;收益集中在长输出负载,短输出摘要和BurstGPT回放没有增益。
Stint用更频繁、有界的停顿替换了罕见、无界的停顿,多数长请求会停顿约30秒,中位每token时间、合并p99 token间隔和首token时间都变差;它还需要更多固定主机内存,当前实现因分配器取整把800 GiB负载变成1,024 GiB后备内存。
