跳到主要内容
返回时间线
arXiv来源发表:

InteractVLA把VLA变成可操控工具:智能体给出末端位姿,LIBERO-Plus成功率99.4%

核心概要

视觉语言智能体调用机器人策略时,过去只能发一句语言指令,策略失败后重试几乎重复同一动作,改写指令又会把策略推出分布。InteractVLA在测试时建立双向几何接口:智能体指定末端执行器的位置、朝向和夹爪状态,经可微映射转成动作专家的输入梯度来引导生成,再把生成的动作块与标定相机重投影回传给智能体用于诊断和修正。在LIBERO-Plus、RoboDojo和RoboCasa365上,配合递归自我改进的InteractVLA分别达到99.4%、48.62%和89.4%的总成功率。

Source-provided article image: InteractVLA: Turning VLAs into Interactive Tools for Agentic Robotic Manipulation
arXiv

深度剖析

预训练的视觉语言动作策略不再只能靠一句语言指令调用,智能体可以直接指定末端执行器要到达的位置、朝向和夹爪状态,让同一个策略改变执行路径。 此前这类策略被当作不透明的语言原语:调用失败后重试会在相似观测下产生几乎相同的动作,而改写语言指令常把策略推出分布并明显降低成功率。 在LIBERO-Plus上,把仅用语言的智能体加策略组合(93.1%)换成InteractVLA后总成功率升到98.3%,其中布局扰动从89.5%升到98.4%,相机视角变化从87.6%升到98.4%。

引导发生在策略自身的去噪过程中,而不是在输出端叠加一个外部修正量。 智能体给出的只是一个稀疏的目标位姿,而不是稠密轨迹或确切到达时刻;固定时刻惩罚会把错误的执行步拉向目标,对所有步均匀惩罚则会让接近轨迹整体塌缩。 在相同策略主干、位姿目标和自我改进预算下,软时间对齐在LIBERO-Plus、RoboDojo和RoboCasa365上分别为99.4%、48.6%和89.4%,高于固定末步的96.8%、39.1%、83.0%和均匀加权的95.6%、34.7%、79.8%。

反向通道让智能体看到策略生成的动作块和标定相机重投影,从而判断是目标位置错了还是执行打滑,并选择重新引导或局部微调。 只返回成功或失败的二元信号不足以支撑恢复,智能体此前只能整体接管低层控制。 在RoboDojo和RoboCasa365上,仅用观测反馈时为40.3%和84.1%,加入生成动作后为44.8%和87.0%,再加入重投影后为48.6%和89.4%。

启示与展望

演示范围是仿真基准LIBERO-Plus、RoboDojo、RoboCasa365,以及Dexmal真实双臂平台上四项任务各30次试验,策略主干为MR-0,每项任务用50条示范训练。

静态真值位姿目标在RoboDojo上把总成功率从9.2%提到12.17%,但精度和长程任务略有下降,说明单纯的空间约束无法解决多步时序和接触动力学;在线闭环才把该设置下的总成功率提到26.0%。