长输出推理不再被反复驱逐:Stint把最长停顿压到50秒内,同引擎吞吐升12%
推理模型的长输出让键值缓存长时间占满GPU显存,请求被驱逐后往往反复丢失又恢复状态,却几乎不产出新token。Stint把被驱逐请求的缓存快照存进CPU连续区间,用批量传输搬回,并按等待时长给它一次受保护的解码机会。在IMO-AnswerBench回放上,Qwen3-32B的请求最长停顿不超过49.3秒,而重算、LMCache与HiCache基线有21%至23%的请求停顿超过一分钟;相对同引擎重算,p99每token时间下降50.7%,吞吐提高12.0%。