跳到主要内容
返回时间线
arXiv来源发表:

长任务智能体不再压缩掉细节:CarryOn把进度与证据分开,三个基准平均成功率75.7%

核心概要

长程AI智能体执行多步任务时,历史越长,上下文越难管理:摘要会丢掉后续动作需要的精确细节,保留全部交互又带入大量无关信息。CarryOn把紧凑的执行状态与带来源引用的细粒度证据分开,由学习到的选择器和自适应保留策略决定每一步给智能体看哪些原始观察片段,且不额外调用大模型做上下文管理。在AppWorld、OfficeBench和Tau2 Telecom三个基准、三种Actor模型上,其宏平均任务成功率为75.7%,比最强基线SWE-Pruner高6.7个百分点,平均归一化每次成功成本最低,为0.792。

Source-provided article image: CarryOn: Learning What to Keep in Context for Long-Horizon LLM Agents
arXiv

深度剖析

CarryOn让长程AI智能体在上下文不随交互历史无限增长的情况下继续执行多步任务,做法是把“任务进行到哪一步”和“这一步需要哪些原始细节”拆成两份输入。 此前的上下文管理要么对历史做摘要、剪枝或整段选择,摘要可能漏掉后续动作所需的精确值,保留完整交互又会带入大量无关记录。 在AppWorld、OfficeBench和Tau2 Telecom三个基准、Claude Sonnet 5、Qwen3.8-27B和Gemma-4-31B三种Actor上等权平均,CarryOn的任务成功率为75.7%,比Full History高13.3个百分点,比最强基线SWE-Pruner高6.7个百分点,同时平均归一化每次成功成本NCS为0.792,为各方法中最低。

智能体每一步收到的是压缩后的控制状态加上从原始观察中切出的证据片段,片段保留来源引用,因此早先被略去的记录可以在需要时重新回到上下文。 证据选择由一个学习到的选择器完成,它对历史单元同时给出相关性排序分数和“下一步是否会被用到”的预测概率,后者还能触发临时证据扩展,把基础预算之外的片段补进来。 选择器以Qwen3-Reranker-0.6B为骨干,用Claude Sonnet 5生成的离线状态标注和证据引用在官方训练集上做LoRA微调;同一基准内训练一次的冻结选择器被复用于三种Actor,在AppWorld上Qwen的成功率从SWE-Pruner的68.5%升到84.5%。

被选中的证据中有相当比例来自至少十步之前的交互,说明长程依赖确实被保留下来而不是被压缩掉。 在909条轨迹、14419次Actor调用中,至少十步之前的证据占AppWorld选择的30.7%、OfficeBench的31.2%、Tau2 Telecom的48.8%,并且40.2%的任务运行出现过证据被略去后又重新选回的情况。 在AppWorld上用Claude做的消融显示,去掉控制状态后成功率从79.8%降到66.1%,把学习选择换成最近片段打包则得到76.2%,说明紧凑状态与学习到的证据选择各自起作用。

启示与展望

评测覆盖AppWorld、OfficeBench和Tau2 Telecom三个文本交互基准,任务数分别为168、95和40,成功与否由各基准官方评测器判定;每个基准训练一个选择器,并在三种Actor间复用。

扩展到视觉或多模态观察需要重新设计证据的表示与选择方式;迁移到工具接口和观察结构不同的新环境尚未验证;保留的观察可能含敏感信息,缺失或误读的证据可能导致错误动作,因此部署需要访问控制和对有后果动作的用户确认。