长任务智能体不再每步重读全部对话:Ollama与Together AI把前缀缓存拆成两端共同维护
核心概要
编码智能体每一步都要把整段会话重新送进模型,输入长、输出短,前缀缓存因此决定长会话是否越跑越慢。Ollama与Together AI分别从请求构造和推理引擎两端说明:缓存只匹配到第一个不同 token 为止,系统提示里一个逐轮变化的字段就会让整段会话重算。按理想化估算,每轮增量相同的十轮会话无缓存要处理 55 份提示、有缓存只需 10 份;缓存命中还取决于请求是否被路由回持有该缓存的节点。
深度剖析
长时程智能体的开销主要落在输入侧:每一轮请求都携带系统提示、全部工具定义、用户请求、已读文件和已执行命令,而返回的往往只是几十个 token 的工具调用。 没有缓存时,引擎每轮都要从头处理整段历史,会话越长,重复计算越多;按每轮增量相同的理想化估算,十轮累计处理 55 份提示,一百轮累计 5,050 份。 同一理想化设定下启用前缀缓存后,十轮只需处理 10 份、一百轮只需 100 份,重复工作量随会话长度平方增长的模式随之消失。
前缀缓存从提示开头逐 token 匹配,遇到第一个不同处即停止,其后内容全部重算,因此缓存能否保住取决于提示前部是否稳定。 把工具定义追加到对话末尾、把时间戳和 git 状态等逐轮变化的信息移入任务消息、在会话开始时固定推理强度,都能避免改动提示前部。 GLM-5.3-Flash 的聊天模板把推理强度写进最前面的系统块,中途从低档调到高档会让下一次请求几乎在第一个 token 处就不同,长会话因此重算数十万 token。
推理引擎一侧要保证缓存仍然存在,并让下一轮请求回到持有该缓存的那台机器。 会话缓存位于特定数据中心的特定节点,请求落到别处就要从头处理历史,还会让两个节点各存一份相同前缀。 Together AI 用 prompt_cache_key 或前缀哈希把请求导向缓存最长的节点,在会话空闲等待工具返回时把缓存卸载到 CPU 内存,并以 PagedAttention 按需分块分配缓存内存、以连续批处理让新请求在有空位时立即进入。
启示与展望
讨论范围限于输入长、输出短的智能体流量,覆盖请求构造侧的提示布局与推理引擎侧的缓存路由、卸载和内存分配;文中给出的 55 对 10、5,050 对 100 是每轮增量相同的理想化数字,作者明确说明真实轮次大小不一。
缓存命中并不完全免费,每个新 token 仍需对已缓存内容做注意力计算;即使提示完全稳定,若热节点过载,等待还是换节点重算前缀需要权衡,缓存未命中有时反而是更划算的选择。
