相机被碰歪,冻结的视觉-语言-动作模型就失灵:Homeward 把画面搬回训练视角,四个模型在 1,599 个相机变体上齐升
核心概要
部署时第三人称相机被碰动、重装或换镜头,冻结的视觉-语言-动作模型会明显掉成功率,因为这类模型默认相机停在采集数据时的位置。Homeward 不改动模型权重,只用一帧训练视角参考图和机器人运动学模型,把现场画面重新投回训练视角:未知的相机参数与静态场景深度由单目三维基础模型估计,已知的机械臂则由关节状态直接渲染。在 LIBERO-Plus 全部 1,599 个相机变体上,OpenVLA-OFT、π0、π0.5 与 OpenVLA 的成功率分别从 62.5%、76.5%、68.0%、3.6% 升到 77.6%、95.1%、91.2%、26.4%。
深度剖析
冻结的视觉-语言-动作模型在相机位置改变后仍能恢复大部分性能,前提是把输入画面还原成训练时的视角,而不是让模型自己去适应新视角。 这类模型默认部署相机与采集演示时完全一致;LIBERO-Plus 把相机视角偏移列为对冻结模型破坏最大的扰动,OpenVLA-OFT 在全部 1,599 个相机变体上总体成功率降到 62.5%,在最大偏移下进一步跌到 22.0%。 在 LIBERO-Goal 上用仿真器真值深度和真值相机位姿把扰动画面重投影回训练视角,OpenVLA-OFT 的成功率从 79.7% 回到 90.4%,在最严重偏移下从 35.5% 回到 82.9%,说明失效主要发生在视觉输入层面。
直接调用现成的三维基础模型做还原反而可能更差,因为这类模型会把细长、反光、正在运动的机械臂重建得支离破碎。 把真值几何换成冻结的 VGGT 后,OpenVLA-OFT 在 LIBERO-Goal 上的闭环成功率只有 72.8%,低于不做任何校正的 79.7%。 逐帧检查显示 VGGT 对静态桌面和物体重投影合理,而机械臂被撕散到多个深度平面上;而机械臂的三维几何本来就可以由关节状态和运动学模型精确给出,因此 Homeward 把画面拆成估计的场景层和按运动学渲染的机器人层。
Homeward 在冻结策略、冻结几何骨干、未标定部署相机和零适配数据的条件下完成视角还原,只需机器人网格模型、一张参考图和一次性的训练相机标定。 此前的测试时视角校正方法要么需要标定相机与深度传感器,要么需要在目标场景上微调生成式视角合成网络。 在约 30 万条闭环回合、四个冻结模型和五类相机扰动上评估;在 LIBERO-Plus 全部 1,599 个变体上四个模型分别提升 15.1、18.6、23.2、22.8 个百分点,16 个套件与模型组合中 14 个显著提升、没有一个显著下降。
启示与展望
评估全部在 LIBERO 仿真环境中完成,覆盖四个冻结模型、五类相机扰动以及 1,599 个 LIBERO-Plus 相机变体;方法需要机器人网格模型、一张训练视角参考图和一次性的训练相机标定,不需要部署相机标定或任何场景微调。作者把从仿真扩展到真实机器人列为下一步,需要应对 URDF 与真实外观之间的光度差异、机械臂前方的前景遮挡以及接触丰富的夹爪与物体交互。
在 AnyCamVLA 的宽轨道基准上,Homeward 在 LIBERO-Long 上仍落后于使用真值相机的 AnyCamVLA,差距随轨道变大而扩大,诊断指向单目平移估计从 2 cm 漂到 7 cm。在 LIBERO-Plus 相机划分上,对已在扰动数据上微调过的 OpenVLA-OFT+ 做还原反而降低 4.7 个百分点。OpenVLA 在相机漂移下没有提升,Object 套件是 Homeward 最弱的套件。
