机器人策略不再只背动作:VLA-Δ把物理状态变化当预训练目标,LIBERO平均成功率98.40%
核心概要
浙江大学OmniAI团队提出VLA-Δ,把当前状态到未来状态之间的物理变化本身作为预训练监督目标,而不只学习观测到动作的对应关系。模型在视觉语言主干中引入可学习的物理状态差异查询,用结构化状态槽、光流和未来状态差异文本三路信号塑造这一表示,下游微调与部署时只保留动作生成。在LIBERO上平均成功率为98.40%,在RoboTwin 2.0的Clean与Random两种设置下均高于所比较方法,真机实验平均成功率为68.0%。
深度剖析
视觉语言动作模型的动作生成多了一条直接的监督对象:机器人自身与物体从当前状态到未来状态发生了哪些变化,被当作预训练阶段的学习目标,而不是只让模型记住观测与示范动作之间的对应。 此前的做法要么用语言推理描述下一步该做什么,要么预测未来图像或潜空间中的未来视觉状态,监督的是高层任务语义或场景外观,很少直接监督物体位姿、空间关系和机器人与物体接触如何变化。 在LIBERO上,完整模型平均成功率为98.40%,高于表中所有比较方法;在RoboTwin 2.0上,Clean与Random设置的平均成功率分别为90.06%和89.74%,均高于所比较方法,比两种设置下最强的基线ZR-0分别高1.36和1.76个百分点。
实现方式是在视觉语言主干中加入一组可学习的物理状态差异查询,让当前观测与任务指令的信息先汇聚成一段过渡表示,再由动作专家据此生成连续动作块。 过渡表示由三路信号共同塑造:结构化状态槽把任务进度、目标与夹爪位置、运动位移、接触转换、障碍风险等九类变量分派给固定查询组做直接预测;稠密光流约束图像平面上的局部运动细节;未来状态差异文本用自然语言连贯描述任务进展、空间变化、接触转换与物理约束。 三路监督只在预训练阶段与动作学习联合优化,下游微调只优化动作目标,部署时直接由当前观测生成动作、不解码任何中间监督目标;预训练数据约484小时、2400万帧,来自DROID、MolmoAct和RH20T,标注由自动化流水线生成。
启示与展望
已展示的范围是仿真基准LIBERO与RoboTwin 2.0,以及AgileX PiPER 6自由度双臂平台上的五项真机任务,每项40个独立回合、共200次试验;三路监督只在预训练阶段使用,下游微调只优化动作目标,部署时不解码中间监督目标。
真机五项任务的平均成功率为68.0%,其中避障任务为42.5%,长程执行与环境泛化两项为所比较方法中的第二高;预训练数据规模约484小时、2400万帧,标注质量审计中运动与相对位移槽的有效比例为93.00%,为九类槽中最低。
