跳到主要内容
返回时间线
arXiv来源发表:

CLAM把会话流压成低秩适配器:不调梯度、不生成文本,记忆构建比抽取式系统快3–151倍

核心概要

CLAM(Carried Latent Adapter Memory)把长期记忆写进模型权重:一个循环超网络在一次前向传播中把整段会话激活压成低秩适配器,配合一个逐字检索的片段缓冲。在LoCoMo与LongMemEval-S、三个2–7B开源基座上,它领先所有智能体式记忆基线1–45分、领先所有基于梯度的参数化方法10–45分,构建记忆时零生成调用、零梯度步,墙钟时间比抽取式系统少3–151倍。两个通道互补:当片段缓冲没检索到金标证据时,适配器仍带来12–15分提升。

Source-provided article image: Instant Weight-Space Consolidation for Long-Term Memory in LLMs
arXiv

深度剖析

长期记忆不再只停留在文本空间:模型权重本身会随会话累积而改变,且每次新增会话的代价固定。 此前的智能体式记忆系统把经验抽取成文本、查询时再检索,模型参数始终不变,抽取错误会逐级累积,跨会话的隐含模式没有进入模型的通路。 在LoCoMo与LongMemEval-S、Gemma-2-2B、Qwen3-4B、Mistral-7B三个基座上,CLAM领先全部智能体式基线1–45分,30组配对比较中28组的95%自助置信区间不含零。

记忆构建只需一次超网络前向传播,不需要在服务时做反向传播,也不需要让语言模型生成任何文本。 基于梯度的参数化记忆方法要在服务时做反向传播,操作昂贵且慢,在长历史上还会退化。 同一会话上,抽取式系统花12–464次生成调用,CLAM构建记忆的墙钟时间为10.3秒,比抽取式系统快3–151倍,比梯度方法快1.3–16倍。

权重通道与逐字检索通道互补,适配器携带的是检索无法提供的信息。 只用片段缓冲时,检索失败的问题上模型没有别的信息来源。 在缓冲未检索到金标证据的36%问题上,适配器带来12–15分提升;即使给缓冲金标片段,适配器仍加4–5分。

启示与展望

结论建立在两个英文对话记忆基准LoCoMo与LongMemEval-S上,基座为2–7B参数的开源模型,评测使用同一评委与Cover-EM两种口径。更大规模、其他语言以及文档或代码这类非对话历史下的行为尚未确立。

适配器是固定大小的存储,扩大适配器秩与超网络参数量有望带来更好结果,但这一点尚未验证。超网络按基座各训练一次,把训练好的超网络不经重训迁移到未见基座不在工作范围内。