跳到主要内容
返回时间线
arXiv来源发表:

具身智能体的记忆更新不再重算整段缓存:HeMeR 在真实机械臂任务上把每步推理从 2.94 秒压到 1.87 秒

核心概要

具身智能体每走一步,声明性、程序性和工作记忆的内容都会变,但大部分内容在相邻决策间保持不变;以往各记忆模块走独立接口,更新后的记忆上下文被当作全新输入,整段 KV 缓存必须重算。HeMeR 把记忆内容锚定为带 KV 区间的类型化记忆块,只重算受内容更新和适配器切换影响的区间,并对仅发生位置移动的块做 RoPE 重映射。在 UR7e 桌面操作的真实部署中,它以 83.20% 的目标条件成功率、每步 1.87 秒完成两个长程任务,对照 MemRL 为 64.28% 和 2.94 秒。

Source-provided article image: HeMeR: Heterogeneous Memory Reconciliation for Embodied Agents via Structured KV Reuse
arXiv

深度剖析

具身智能体的记忆上下文在相邻决策步之间大部分保持不变,因此更新时不必把整段记忆重新送进基础模型。 此前声明性、程序性和工作记忆通过各自接口访问,每次更新后的记忆上下文都被当作新输入,无法对未变内容做选择性 KV 缓存复用,只能全量重算。 在 UR7e 机械臂的真实桌面任务中,HeMeR 取得 83.20% 的目标条件成功率、每步 1.87 秒,MemRL 为 64.28% 和每步 2.94 秒;真实环境含两个长程任务、每个任务五次独立物理重复,共 10 次试验。

记忆内容被组织成带类型的记忆块,每块对应一段连续的 KV 区间,缓存更新因此可以只落在受影响的区间上。 记忆模式记录每个块的持久 ID、模块类型、语义角色、依赖标注、归一化内容、位置、token 跨度和 KV 区间,以及适用时的适配器标识,用这些字段而非原始 token 重叠来判断能否复用。 在 ALFWorld 与 EmbodiedBench Habitat 的未见任务上,HeMeR 的任务成功率高于 MemRL,且每步推理时间更短;Habitat 使用 Qwen3-VL-4B-Instruct 处理 RGB 观测,ALFWorld 使用 Llama-3.2-3B-Instruct。

程序性记忆以 LoRA 适配器实现,适配器切换被纳入 KV 兼容条件,切换时只重算程序性记忆块及其依赖区间。 此前即使其他记忆内容不变,在旧适配器下算出的 KV 状态也可能与新适配器不兼容,而只做适配器级复用的方法不处理声明性和工作记忆的更新。 在每一步都强制切换适配器的测试中,HeMeR 保持 KV 复用率,关闭适配器稳定重算后复用率降为零、延迟接近全量重建。

启示与展望

评估覆盖 ALFWorld、EmbodiedBench Habitat 两个模拟环境和 UR7e 桌面操作的真实部署,真实部分为两个长程任务、每个任务五次独立物理重复,共 10 次试验;模拟结果在五个随机种子上平均。读者对象是构建记忆增强具身智能体推理栈的研究者与工程师。

当前评估限于单智能体具身任务,记忆上下文在连续决策步之间更新;多智能体系统中共享记忆的并发更新可能带来记忆上下文与缓存 KV 状态之间的一致性问题,这一点尚未处理。适配器稳定重算只是限制而非消除跨适配器漂移,因此适配器标识被纳入 KV 兼容条件。