billion-context 把压缩做进模型调用链:100K 窗口也能承载数十亿 token 的长会话
核心概要
billion-context 是一个插在 AI 智能体与模型 API 之间的压缩代理,把已消耗的对话折叠成分层摘要,让单个会话在 100K 级上下文窗口里持续运行。它不靠硬截断,而由模型自己决定何时压缩、压缩哪一段,摘要按小段写入并可解压恢复,前缀缓存保持完整。在 1,500 项跨基准评测中,它于 ContextBench 上取得 0.3097 的 Utilized F1,相对全量上下文成本降低 58.3%,并在 1.48M token 的 MemoryAgentBench TTL 上全部存活,而全量上下文在该项 199 次全部失败。
深度剖析
长编码会话的上下文会不断膨胀,而模型 API 按 token 计费,一旦越过上下文窗口,会话就会退化或中断;billion-context 把已消耗的对话压缩成分层摘要,使一个会话可以连续运行数天、让数十亿 token 穿过同一个上下文窗口。 宿主自带的摘要器做的是压缩,但 billion-context 的压缩是增量的、可逆的,并且对前缀缓存友好,这与内置摘要形成对照。 一项生产规模的纵向研究覆盖 4.5 个月、三台主机、174,327 次模型调用和 18.76B 累计输入 token,在 204,800 token 的模型上零窗口越界,其中马拉松会话达到 8,584 至 12,049 次调用。
压缩由模型自己发起:代理向对话注入四个上下文管理工具,模型在上下文增长时自行调用,代理在服务端执行折叠,被折叠的区间在历史中保持摘要状态直到被恢复。 这四个工具分别是 compress(把一段消息折叠成详细摘要)、decompress(在需要精确细节时恢复被压缩区间)、search_context(在压缩摘要与可见消息上做关键词检索)和 acp_status(给出上下文用量概览以及哪些区间仍可压缩)。 代理解析 Anthropic 或 OpenAI 形状的请求,运行 acp-kernel 压缩,注入工具与压缩策略,转发给真实模型 API,再改写流式响应;健康会话的前缀缓存命中率保持在 95–97%,压缩本身开销不超过 2%。
启示与展望
已展示的范围是编码智能体场景:代理位于智能体与模型 API 之间,评测使用 DeepSeek V4.1 Flash、Qwen3-Embedding-8B、Qwen3-Reranker-4B 与 Pi Agent,对比对象为全量上下文和 bm25、embedding、embedding-rerank 三个 RAG 分支。
前缀缓存命中率若持续低于 95–97%,来源列出的常见原因依次是上游缓存 TTL 到期、切换模型、bili 缺陷以及其他未知原因;宿主原生插件与独立进程内扩展互斥,两者同时启用会造成双重压缩。
