冻结的VLA不必重训:RAGu把野外演示轨迹弯进新场景,真实任务成功率从20%升到80%
核心概要
RAGu 让预训练视觉-语言-动作模型(VLA)在不更新参数、不扩充上下文窗口的情况下适应新场景:它从 DROID 这类与目标域不匹配的野外演示中检索轨迹,先用几何标定和语义对应把轨迹弯到目标场景,再以能量场引导模型的流匹配去噪。真实世界任务成功率由未引导基线的 20% 升到 80%,仿真中 25% 对 12%,跨形态迁移到 29 自由度人形机器人时平均提升 13.6 个百分点。
深度剖析
预训练的视觉-语言-动作模型在相机视角、背景、物体身份或机器人形态稍有变化时就会明显退化,RAGu 让这类模型在不改权重的前提下借助外部演示适应新场景。 此前的检索式适配方法要求源演示与目标同域,或需要对策略网络做任务相关微调;把检索到的示例直接拼进输入上下文则受限于模型有限的上下文窗口。 在真实世界任务上,未引导基线成功率为 20%,RAGu 达到 80%;在 RoboLab 仿真中为 25% 对 5%;使用同一批 100 条弯折后 DROID 演示的上下文检索基线 RICL 在真实任务上为 0%。
引导信号来自被弯折到目标坐标系的演示轨迹,而不是拼进输入的示例,因此模型权重和上下文都保持不动。 做法分三步:按任务关键词筛出结构相近的演示,用 Grounding DINO 定位目标场景中承担相同功能角色的物体并据此把轨迹弯到目标坐标系,再用动态时间规整(一种对齐两条时间序列的算法)粗筛出候选。 推理时在第一个去噪步用梯度范数从候选中挑出与策略最兼容的一条,并固定用于后续去噪;在 RoboCasa 五个任务、720 步、10 Hz 的回合中,每回合平均耗时与未引导基线相差不超过数秒。
引导只重塑模型先验之内的运动,因此它补充而非替代参数化训练。 在 GR00T-N1.5 上,100 条候选轨迹使未微调模型平均成功率提升 13.6 个百分点,使微调后模型提升 12.0 个百分点。 跨形态设置中,7 自由度 Franka 的 DROID 演示引导 29 自由度 Fourier GR-1 人形机器人,平均成功率提升 13.6 个百分点;引导作用于经可微正运动学得到的笛卡尔腕部轨迹,不做逆运动学或轨迹回放。
启示与展望
演示的适用范围是四类迁移设置:DROID 到真实 7 自由度 Franka 的 5 个任务、DROID 到 RoboLab 的 9 个任务、MetaWorld Sawyer 到真实 Franka 的多阶段 Banana-to-Plate 任务,以及 DROID 到 RoboCasa 中 Fourier GR-1 人形机器人的 5 个桌面任务;真实实验每任务 10 次回放,仿真每任务 25 次。
方法假设源数据库中存在与目标任务类别大致匹配的演示;语义对应失败会破坏三维弯折并污染引导信号,因此对相机位置和遮挡并不具备不变性;引导只能在 VLA 已有先验范围内重塑运动。在 RoboLab 的 900 次尝试中,弯折成功率为 65.1%,其余失败主要来自演示侧轨迹解析错误,其数量约为场景对应失败的两倍。
