多视角机器人策略换了个动作坐标系:OVOA-VLA 在 LIBERO-Plus 上把总成功率提到 88.1%
核心概要
多视角视觉-语言-动作模型通常只在机器人基座坐标系下接受动作监督,需要自己隐式学会每个视角的观测与基座动作之间的空间对应。OVOA-VLA 改为让每个视角的动作专家在各自相机坐标系下预测动作,同一段物理运动因此提供多份与观测对齐的监督,并用两张互补的有向注意力图和跨图一致性把各视角的预测汇入基座策略。在 LIBERO-Plus 上,完整推理与仅基座推理的平均成功率分别为 88.1% 和 85.7%;在真实 Franka Research 3 上,仅基座推理把空间分布偏移下三个任务的平均成功率从 28.3% 提高到 58.3%。
深度剖析
多视角视觉-语言-动作模型的动作监督不再只落在机器人基座坐标系,每个相机视角都获得一份以自身坐标系表达的动作预测任务。 此前的多视角模型把多个相机的观测合在一起,却只在基座坐标系下给出动作监督,观测与动作之间的空间对应要由模型隐式学出来。 在 LIBERO-Plus 上,完整推理的平均成功率为 88.1%,仅基座推理为 85.7%,两者都高于表中复现基线的 77.4%。
同一段演示动作被已知的坐标变换搬到每个相机坐标系,各视角专家只读取本视角的图像,并接收该坐标系下的机器人状态。 方法采用混合 Transformer 结构,在基座动作专家之外为每个输入视角配一个独立参数的动作专家,所有专家共享视觉-语言主干。 训练时对同一样本分别在两张有向注意力图下前向一次,两张图共享参数,跨图一致性损失让两次基座预测相互靠拢。
真实机器人上的增益在相机视角和机器人初始位姿两类偏移下都出现,而不只限于仿真。 真实实验使用 7 自由度 Franka Research 3,输入为一路固定第三人称相机和一路腕部相机,每个任务采集 50 条 GELLO 遥操作演示。 在分布内六个任务上,仅基座推理的平均成功率为 77.5%,比基线高 5.0 个百分点;在相机视角偏移下从 26.7% 提高到 60.0%,在机器人初始化偏移下从 30.0% 提高到 56.7%。
启示与展望
已展示的范围是四个仿真基准(LIBERO、LIBERO-Plus、VLABench、MimicGen)和一台 7 自由度 Franka Research 3 上的六个真实任务;真实实验的偏移评估每个任务每种配置只做五次 rollout,且全部为零样本、不重新训练。
相机偏移下仅基座推理优于完整推理(78.4% 对 75.4%),机器人初始化偏移下则相反(81.2% 对 88.4%),两种推理模式各有适用条件;完整推理的峰值内存和平均延迟分别增加约 81% 和 63%。
