跳到主要内容
返回时间线
arXiv来源发表:

长时探索记忆有了图基准:LExMem 收录 224 段对话,LExGraph 在十项记忆能力中七项居首

核心概要

长期记忆评测此前主要考察事实回忆与单调更新,忽略了探索过程中分支、修订与重启之间的依赖关系。LExMem 把探索过程建模为有向图,经演化机制提高结构复杂度,再实例化为科研与软件设计任务,得到 224 段对话和 2,018 个问答实例。配套的 LExGraph 从原始对话增量构建记忆图,用混合检索加邻居扩展取证据,在 LExMem 上整体表现最高,并在 BEAM 的 128K 子集十项记忆能力中七项居首、总分 0.472。

Source-provided article image: Twists and Turns: A Graph-Based Benchmark and Framework for Long-Term Memory in Exploration Tasks
arXiv

深度剖析

长期记忆评测从“记住事实”扩展到“记住探索路径”:问题不再只问某条信息是什么,而要沿着被修订、被推翻又被重启的尝试链条把分散证据拼起来。 此前的长期记忆基准集中在用户画像与个人事实的回忆,或跨会话任务指令与项目状态的跟踪,考察的仍是信息召回。 LExMem 由 224 段对话和 2,018 个问答实例组成,对话长度在 51K 到 174K token 之间、平均 88K,问题按稠密子图、稀疏子图和同类型节点集合三种图结构生成,分别对应 561、759 和 698 个实例。

记忆框架改为按对话推进过程组织信息,而不是只按语义相似度或实体关系聚类。 现有记忆框架围绕语义相似、主题聚类和实体关系组织对话历史,没有显式保留探索步骤之间的先后依赖。 在 LExMem 上,LExGraph 在 Qwen-3.8 27B 与 GPT-6 Luna 两个骨干模型下整体表现最高,超过 GraphRAG、LightMem 等基线;在 BEAM 的 128K token 子集上取得十项记忆能力中七项第一,总分 0.472。

记忆图从原始对话增量搭建,节点是“摘要加关键事实”的键与原始对话轮次的值,边分父子层级边和跨分支关联边两类。 层级边沿用篇章理论中的右前沿约束,新节点只能挂到根到最近话语的路径上,跨分支边则从该路径之外的历史节点中按键嵌入相似度挑选。 回答时先用语义余弦相似度与 BM25 词法得分经倒数排名融合排序,取主节点集合再扩展其邻居,上下文由主节点的键值、邻居节点的键和连接边的关系描述组成。

启示与展望

评测对象是合成对话上的问答式记忆,覆盖科研探索与软件设计两个领域,对话长度在 51K 到 174K token 之间;基准与框架的代码和数据已公开。

对话由实例化探索图合成,可能无法完全覆盖真实对话的风格多样性;评测考察的是对探索过程的记忆问答,而非更强的记忆是否带来更好的探索决策,后者被留作后续工作。