跳到主要内容
返回时间线
arXiv来源发表:

智能体记忆不再靠人手设计:MAPE从空记忆种子进化出整段程序,LoCoMo准确率最高提升12个百分点

核心概要

智能体记忆系统过去依赖人工经验决定存什么、怎么组织和检索。MAPE把记忆构建、检索与证据组织暴露为可编程阶段,从“不存记忆”这类最小种子出发,用诊断—提案循环反复改写整段程序。在LoCoMo与LongMemEval上,选出的程序在各自基准上均超过所评估的人工设计基线;LoCoMo上绝对准确率最高提升12个百分点,服务成本为基线的35%。

深度剖析

智能体记忆的设计空间现在可以由程序进化来搜索,而不必由人逐项指定存储结构、检索方式和证据组织方式。 此前的记忆系统在记忆表示、组织、维护和检索上各有推进,但这些组件通常由人工经验设计与打磨;已有的进化式方法多把搜索限制在选定组件内,或从现成记忆架构出发,并主要优化准确率。 在LoCoMo与LongMemEval两个基准、准确率单目标与准确率—成本联合目标共四种设置下,选出的程序在各自基准上都超过了所评估的人工设计基线;LoCoMo上观察到最高12个百分点的绝对准确率提升,同时服务成本为基线的35%。

进化出的记忆程序反复出现两种做法:保留原始对话作为可检索证据,以及按问题意图组织检索到的证据再交给回答模型。 所评估的五个人工设计记忆系统在构建阶段抽取事实后丢弃原始对话,或不让原始对话进入交给问答模型的证据,这可能使模型缺少后续问题所需的细粒度语义信息。 在代表性程序MAPE-ALME上去掉检索到的原始对话轮次,LoCoMo准确率绝对下降12.17个百分点、LongMemEval下降6.50个百分点;去掉按意图路由的证据组织模块,分别下降4.44和6.25个百分点,降幅最大的是时间类问题。

把按意图路由的证据组织模块移植进五个人工设计记忆系统后,五个系统的准确率都上升。 该模块原本只存在于进化出的程序中,移植测试检验它是否只在原程序里有效。 在LongMemEval评测集、Qwen3-30B-A3B-Instruct-2507服务骨干和配对评测协议下,五个系统获得2.75到9.25个百分点的绝对准确率提升,其中Mem0提升最小,为2.75个百分点。

把服务成本写进搜索目标,会改变计算在记忆生命周期中的落点:从构建阶段的LLM记忆抽取转向查询时的选择性处理。 只优化准确率的搜索会逐步增加操作,为边际准确率收益接受可观的成本上升;例如在构建阶段引入按会话的笔记抽取后,成本约增至六倍。 选出的准确率—成本程序在LongMemEval和LoCoMo上分别比对应程序少用90%和40%的服务调用,同时保持较强的评测集准确率。

启示与展望

结论覆盖LoCoMo与LongMemEval-S两个对话记忆问答基准,采用固定20%搜索、80%评测的划分,组件分析集中在一个代表性程序MAPE-ALME上;迁移与移植实验把评测扩展到不同服务骨干、两个基准和五个人工设计记忆系统。成本口径只计构建、检索、组织与回答四个阶段的LLM与嵌入token费用,不含搜索开销、本地计算与延迟。

作者指出,这些发现针对两个问答基准上的对话记忆,对经验型记忆和开放式智能体的适用性仍待确立;进化轨迹与最终程序可能随运行而变化,程序筛选与设计解读包含经验判断。成本结论依赖工作负载,尤其是记忆构建成本能在多少查询间摊薄;成本估计按固定价目表计价,而非实际基础设施支出。