长上下文并非必需:智能体频繁压缩工作记忆,长任务准确率基本持平而云端成本可省数倍
核心概要
前沿语言模型在长程与长输入任务上,把对话历史反复压缩成简短状态、或把长文档存成文件按需检索,任务准确率大体与保留完整历史持平,个别设置略有升降。云端按上下文长度计费,缩短上下文后估算成本可降到原来的数分之一。研究据此提出语义状态空间模型(SSSM)的设想:模型在轮次之间只维护一份自然语言写成的状态。
深度剖析
在智能体式长程任务中,把对话历史压缩到很短的上下文,前沿模型的准确率大体不变,而按上下文长度折算的云端生成成本明显下降。 常规做法是把每一步动作和环境返回都追加进同一段对话,历史只增不减,上下文越长,生成每个新词元的延迟、显存和费用都越高。 在 SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1、FRAMES、BFCLv3 与 τ-bench 六类基准上,Claude Opus 4.5 相对完整历史的准确率变化为 -3.7 到 +5.6 个百分点,GPT 5.6 Sol 为 -3.3 到 +4.4 个百分点,估算成本节省分别为 2.2 到 8.8 倍和 2.4 到 5.0 倍。
长输入任务不必把整份材料一次性塞进上下文,把文档放进文件系统、让智能体用命令行按需检索,准确率不降反升。 此前的长输入基准直接把全部文档粘贴进模型的工作对话,峰值上下文随文档长度增长。 在 LongBench v2、LOONG、AA-LCR、NIAH、RULER、Counting-Stars 与 BABILong 上,Opus 4.5 的相对变化为 -0.4 到 +40.0 个百分点,GPT 5.6 Sol 为 +1.0 到 +30.9 个百分点,估算成本节省分别为 6.5 到 54.6 倍和 4.4 到 233.3 倍。
压缩可以做到每执行一个动作就重写一次状态,对话之间几乎不保留历史,任务准确率仍接近完整历史基线。 完整历史累积是 mini-swe-agent 与 mini-agent 两个智能体框架的默认运行方式,历史从不删除或替换。 在单动作压缩下,Claude Opus 4.5 在 SWE-bench Verified 上保持基线并在 Terminal-Bench 上提高 4.6 个百分点;GPT 5.6 Sol 在 SWE-bench Verified 上为 82.4%、在 Terminal-Bench 上为 84.3%(89 题中解出 75 题),分别比其基线低 2.0 和 3.3 个百分点。
启示与展望
结论建立在智能体式工作流上:六类长程任务与七类长输入任务,主实验使用 Claude Opus 4.5 与 GPT 5.6 Sol,另在 SWE-bench Verified 与 Terminal-Bench 2.1 上补充五个量化开源模型。成本数字是按吞吐测量与零售价格推算的估算值,不是账单实测。
作者明确表示,证据不能排除存在长上下文更有利的任务,也不能证明所有任务都能用短上下文完成。压缩是有损的,构造一个必然因压缩而丢失信息的任务并不困难;开源模型中 Qwen 3 Coder Next 在收紧预算时出现大幅下滑,说明对压缩的稳健性因模型而异。
