智能体记忆不再靠手写规则:MemSkill把增、改、删、跳过变成可学习、可进化的技能
核心概要
大语言模型智能体的记忆构建长期依赖一组静态、手工设计的操作,难以适应多样的交互模式。MemSkill把提取、整合与修剪记忆的操作改写为可学习、可进化的“记忆技能”,由控制器为每个文本片段挑选少量相关技能,再由大语言模型执行器一次性生成记忆,并让设计器定期从失败案例中改进和新增技能。在LoCoMo、LongMemEval、HotpotQA与ALFWorld上,该方法在对话问答与具身交互两类设置中均取得优于强基线的任务表现,且技能库可跨基座模型与数据集迁移。
深度剖析
智能体的记忆构建从固定的手工操作流程,变成由一组可复用、可进化的记忆技能驱动的生成过程。 此前的记忆系统大多依赖静态、手工设计的操作原语(如增、改、删、跳过)和启发式模块,决定存什么、怎么改、何时修剪,在交互模式多样和对话历史变长时容易失效。 在LoCoMo与LongMemEval两个对话基准上,MemSkill在LLaMA-3.3-70B-Instruct和Qwen3-Next-80B-A3B-Instruct两个基座模型块内都取得最高的LLM评判分,例如LLaMA块内LoCoMo的LLM评判分为53.82,LongMemEval为60.89。
记忆技能本身会随训练进化,而不只是学会使用一套固定技能。 只学习技能选择、或只允许改进现有技能而不新增技能,都会留下未被覆盖的失败模式。 在LoCoMo上的消融中,去掉控制器改为随机选技能后LLM评判分在LLaMA与Qwen上分别降到48.43和42.84,去掉设计器、固定为四个初始原语后降到46.50和36.15,仅允许改进现有技能则为47.45和48.88,均低于完整设置的53.82和54.14。
技能库在训练中按片段而非逐轮构建记忆,从而减少重复的大模型调用。 此前的流程把手工操作与大模型调用交错,逐轮增量提取和修改记忆,长历史上调用开销大。 在LoCoMo的成本分析中,片段大小为512时LLM评判分为53.82,输入249K、输出18K token、215次调用,而MemoryOS为48.64分、1288次调用,A-MEM为49.71分、1548次调用,LightMem为51.95分、685次调用。
启示与展望
已展示的范围是LoCoMo、LongMemEval、HotpotQA与ALFWorld四个基准上的评测,覆盖对话式长历史记忆与具身交互任务两类设置,基座模型为LLaMA-3.3-70B-Instruct与Qwen3-Next-80B-A3B-Instruct,另在Llama-3.1-8B-Instruct上报告了对话基准结果。技能库在部署前完成学习与进化,运行时按片段构建记忆,默认片段大小为512个token。
技能选择数量K存在轻微敏感性:在HotpotQA的三种上下文长度设置中,K=7取得最好结果,较小的K在更长上下文中可能未充分利用技能库。片段大小也呈现非单调的质量—成本关系,较小片段可能割裂事件,较大片段可能遗漏细节。技能进化的效果以训练中观察到的稳定奖励与回滚机制为前提。
