跳到主要内容
返回时间线
arXiv来源发表:

换一台机器人不必再采演示:VAA靠自校准在18个改动单元里拿下64%成功率

核心概要

公开的视觉-语言-动作模型(VLA,把图像和语言指令直接变成机器人动作的模型)在LIBERO上微调后能完成训练场景里的任务,但换夹爪或旋转基座坐标系后成功率大幅下降。VAA把预训练视觉语言模型和语言模型与自校准结合起来:机器人先通过自身运动和指尖观测测出指令映射、相机几何与镜头畸变,再用实测物体深度规划抓取,全程不用机器人演示也不微调。在改变夹爪或基座坐标系的18个仿真单元上,冻结版VAA完成230/360次(64%),改进版268/360次(74%),该子集上最强的公开VLA为76/360次(21%)。

Source-provided article image: Self-Calibrating Vision-Agent-Action: Deploying Pick-and-Place to New Robot Cells without Demonstrations or Fine-Tuning
arXiv

深度剖析

换到新的机器人单元时,真正拖垮公开VLA的是夹爪和基座坐标系的变化,而不是图像外观。 此前公开VLA在LIBERO训练设置里能完成任务,但迁移到新单元还要求指令在改变后的硬件和坐标系下产生预期的物理运动。 在30个改动设计单元的受控实验中,改变夹爪或旋转基座坐标系的单元被单独挑出,其余评估集中在这18个单元上。

VAA在任务开始前先测量新单元,把指令通道、指尖和相机之间的关系变成可用的单元模型。 这套测量替代了从训练设置继承下来的假设,包括指令到工具中心点位移的映射和相机内外参。 机器人通过动作通道发出小幅运动并测量工具中心点的实际位移,同时在多个位姿下观察指尖,估计焦距、主点和相机相对基座的位姿,并以桌面平整度为约束估计径向畸变。

抓取位置由目标物体自身的三维点决定,而不是由单目图像推断。 预训练视觉语言模型(Qwen3.8,27B)给物体候选打标签,预训练文本语言模型(Qwen3,30B instruct)解析指令选出目标与目的地,两者都在本地运行且不微调。 在三个单元的配对消融中,把实测深度换成单目深度(Depth Anything V2 Large)后成功率从50/60降到20/60,夹爪单元从15/20降到8/20。

启示与展望

全部实验在仿真中进行,任务取自LIBERO-spatial,每个单元20个回合;结论覆盖改变夹爪或旋转基座坐标系的18个设计单元,以及5个同时改动硬件、几何与外观的开发单元。

组合改动采用分辨度IV的部分析因设计,主效应不与二因子交互混杂,但其解释假设高阶交互可忽略,二因子交互之间仍相互混杂;弧形闭合的Robotiq 2F-85夹爪超出平行夹爪模型,该单元VAA为0/20。