移动操作机器人开始考记忆:RoboCasa-Mem 设九项任务,HMAP 把平均成功率从16.2%提到24.2%
核心概要
移动操作机器人常要在关键信息已看不见时做决定,而现有基准主要考任务执行与长程控制,没有单独隔离出依赖历史信息的决策。RoboCasa-Mem 把这类记忆拆成环境记忆与过程记忆两类、共九项任务,并提供1800条成功示范;配套的 HMAP 用高层结构化记忆规划、低层几何增强控制执行,在九项任务上把平均成功率从16.2%提高到24.2%,提升集中在隐藏属性回忆,过程记忆任务上的改进仍不一致。
深度剖析
移动操作机器人的评测多了一项内容:判断某一步是否必须依赖已经看不到的历史信息,而不只看任务有多长。 此前的移动操作基准主要评估任务执行、长程控制、泛化和策略学习,没有把需要历史信息的决策单独隔离出来;已有的机器人记忆基准则多集中在桌面或固定底座场景。 九项任务被设计成存在“当前观测不足以决定动作”的决策点,并按环境记忆与过程记忆两类、五个子类组织,覆盖空间、属性、关系、单任务进度和多任务调度。
评测不再预先固定唯一目标,而是从机器人自己先前的动作推出后续约束。 对存在多条合法执行路径的任务,固定单一目标或轨迹会让评测依赖预设分配,而不是机器人自身的历史。 在 SweetCup 中任一杯子都可以加糖,评测器随后检查策略是否选中同一只杯子;成功按任务语义判定,而不是复现脚本专家的轨迹,每项任务在50个留出场景种子上评测。
配套基线 HMAP 把记忆放在高层规划,把当前多视角几何留给低层控制。 低层控制器以 π0.5 为基础,原本只使用标准的视觉—语言—状态表示,不显式携带历史。 高层用 Qwen3-VL-4B-Instruct 维护实体记忆与过程记忆并生成子目标;低层用冻结的 VGGT-Ω 编码三路相机图像,经任务条件查询与交叉注意力调制动作专家,规划器与控制器分开训练。
显式记忆带来的提升并不均匀,集中在需要回忆隐藏环境状态的决定上。 在 TempReport 上,HMAP 的任务成功率从 π0.5 的0.22升到0.86,阶段完成率从0.57升到0.93;在 SweetCup 上成功率从0.04升到0.10。 到达报告阶段的回合中,正确回忆温度的條件成功率从0.41升到0.90;PutBackCup 中把杯子放回原位的条件成功率从0.72升到0.83,MilkMatch 两次颜色匹配放置的平均条件成功率从0.47升到0.79。
启示与展望
评测主要在仿真中进行,真实机器人上只评估了一个物体搬运任务,每种方法10次试验;九项任务按各自的主要记忆类别归类,但成功执行可能同时涉及多种记忆。
五个记忆类别并不穷尽,数据集只包含成功的专家示范;阶段级指标有助于定位失败,却不能完全区分记忆错误与执行错误;SugarCount 的阶段适用回合随目标数量变化,阶段完成率在不同回合子集上汇总;两个交错调度任务没有任何被评估的策略完成。
