Callo 用失效 KV 在重预填充期间起草:SWE-agent 会话中等负载下全部请求比 vLLM 快 1.05–1.19 倍
核心概要
AI 智能体在长会话中改写上下文,会让前缀缓存失效,请求必须等重新预填充才能解码。Callo 把解码实例上残留的失效 KV 当作推测解码的草稿来源,在预填充进行时先起草,等精确 KV 到齐后再验证并只提交被确认的 token。在双 H200 测试台上,SWE-agent 会话跨三个模型家族,中等负载下全部请求相对 vLLM 加速 1.05–1.19,主配置为 1.14。
深度剖析
智能体会话里的一次上下文编辑,会让编辑点之后的 KV 缓存失效,请求因此要等重新预填充完成才能开始解码,这段等待直接推迟智能体的下一步动作。 没有编辑时,服务引擎只需为新追加的 token 做预填充;编辑改变了后续 token 所依赖的上下文或位置,缓存不再匹配,必须重算后缀。 在 Llama-3.3-70B 的主工作负载上,79% 的请求发生编辑导致的缓存未命中,每次未命中重新预填充的中位数为 3.1k token。
Callo 不等精确 KV 到齐,而是让解码实例用上一次请求留下的失效 KV 起草,把原本串行的等待变成可重叠的推测解码。 预填充与解码被拆到不同 GPU 后,重预填充仍位于该请求的关键路径上,其他会话不受影响,但遇到未命中的会话本身仍要等。 离线回放中,在失效 KV 上起草的下一 token 与精确 KV 上的结果在 98.3% 的位置一致;32 token 的草稿窗口在 65% 的未命中请求上被整体接受,而在精确 KV 上解码为 80%。
起草期间,预填充实例按层把精确 KV 流式写入解码实例,起草就地读取不断变精确的状态,精确 KV 到齐后一次前向完成验证并提交被接受的前缀。 此前要么等整段 KV 传完再解码,要么在近似 KV 上直接解码而改变输出。 在双 H200 测试台上,Callo 以固定平局贪心验证隐藏了 49% 的未命中惩罚,未命中请求相对 vLLM 加速 1.15;仅保留传输路径、关闭推测的 Callo-Stream 为 1.01。
推测只在解码实例有空闲容量时被接纳,并在草稿可能不被接受时提前让出,因此负载升高时系统平滑退回非推测路径。 若不加调度,推测会与普通解码争抢批次槽位,反而拖慢同批请求。 批次上限为 16 时,全部请求加速比从轻载的 1.10 升到满载的 1.27;批次上限为 2 时稳定在 1.10–1.12,此时传输路径贡献了大部分收益。
启示与展望
演示范围是一个预填充实例加一个解码实例的双 H200 NVL 测试台,模型为 FP8 的 Llama-3.3-70B 与 bf16 的 Gemma-4-31B、Mistral-Small-3.2-24B,工作负载是 SWE-agent 1.1 在 SWE-bench Verified 上的回放会话;集群层面的结论来自以真实轨迹驱动、按测试台测量拟合的 96 GPU 模拟。
收益随重预填充等待在请求延迟中的占比变化:输出很长的扩展推理任务里解码占主导,节省只占一小部分;延迟敏感、回复较短的任务相对收益更高。适配器切换前计算的缓存是否同样适合起草,仍是未决问题。在线起草时后续到达的精确 KV 无法修改已生成的草稿,刷新对照在 L5 与 L10 上未测到显著的接受率提升。
