跳到主要内容
检索

# Callo服务系统

1 篇关联报道

订阅更新
  1. arXiv

    Callo 用失效 KV 在重预填充期间起草:SWE-agent 会话中等负载下全部请求比 vLLM 快 1.05–1.19 倍

    AI 智能体在长会话中改写上下文,会让前缀缓存失效,请求必须等重新预填充才能解码。Callo 把解码实例上残留的失效 KV 当作推测解码的草稿来源,在预填充进行时先起草,等精确 KV 到齐后再验证并只提交被确认的 token。在双 H200 测试台上,SWE-agent 会话跨三个模型家族,中等负载下全部请求相对 vLLM 加速 1.05–1.19,主配置为 1.14。

已读完全部报道