TokenEconomizer让编程智能体记住仓库经验:277个真实修bug任务成本降18.4%–30.9%
核心概要
开发者每天在同一个代码库里使用AI编程智能体,但智能体往往每次会话都从零开始,重复查找事实、加载用不到的工具、反复走同一条失败路径。来自UC Berkeley、微软研究院和微软安全团队的开源插件TokenEconomizer把已完成会话的日志转化为后续会话的指导,在不改动智能体及其底层模型的前提下减少浪费。在六个仓库的277个SWE-Bench真实修bug任务上,它让五种智能体与模型组合的平均成本下降18.4%–30.9%,30个仓库与组合配对全部节省且任务成功率大体稳定。
深度剖析
一个开源插件可以让AI编程智能体在同一个仓库里越用越省,而不需要改动智能体本身或它调用的模型。 此前的降本做法多针对单个任务,或依赖固定的节省策略;测试的三个流行开源插件各自只在部分仓库降低成本,在另一些仓库则不然。 在六个仓库的277个SWE-Bench任务、五种AI编程智能体与模型组合上,平均成本下降18.4%–30.9%,30个仓库与组合配对全部节省且没有性能损失;作为对照,降低模型推理强度虽能省下相近或更多的成本,却带来明显的性能退化。
插件在每次会话结束后读取会话日志,更新它对仓库的认识,再通过智能体已有的接口施加影响。 它依靠三种机制:微技能把仓库特有的知识写成一行笔记,工具剪枝去掉仓库历史显示智能体不太会用的工具,失败循环干预在智能体反复卡在同一错误时给出换一种做法的提示。 微技能笔记要经过多次会话确认同一模式后才加入起始上下文,后续证据与之矛盾时便撤下;工具剪枝始终保留执行命令和编辑文件的核心工具,被移除的工具可以恢复;是否真正卡住由一个裁判模型判断,开源插件在提示后仍无进展时通知开发者而不是自行中止工作。
节省随经验积累而增长,并能迁移到顺序进行的网页开发任务。 早期任务可能因为插件还在学习而更贵,但到第六个任务时,每个仓库的累计成本都已低于默认设置。 在Web-Bench的顺序网页开发上成本低16.0%–21.2%;在安全审计场景中每个任务都位于新仓库,成本仍低6.4%–19.6%;三种机制各自都能带来节省,三者合用降幅最大。
启示与展望
演示范围是SWE-Bench六个仓库的277个任务、五种智能体与模型组合,以及Web-Bench顺序网页开发和安全审计两类附加场景;每个仓库的评估都从没有历史会话开始。插件面向使用现有AI编程智能体的开发者和研究者,设计为与这些智能体并行运行而不修改其底层模型。
节省随经验积累而增长,早期任务可能因插件仍在学习而更贵,累计成本要到第六个任务才低于默认设置。开源插件在给出换路提示后若智能体仍卡住,只通知开发者而不自行停止工作。安全审计场景中每个任务都位于新仓库,成本降幅为6.4%–19.6%,低于同仓库场景。
