跳到主要内容
返回时间线
arXiv来源发表:

视觉-语言-动作模型有了执行侧攻击:ExecGap 让指令看似合理却难以被机器人真正执行

核心概要

ExecGap 把对抗补丁的攻击目标从预测层挪到执行层:它依据机器人运动学低效方向与动力学弱驱动方向,把视觉-语言-动作模型输出的任务空间指令推向难以被本体有效实现的方向。在 LIBERO 四个套件的仿真中,它对 OpenVLA、OpenVLA-OFT 和另一类流式策略造成比既有补丁攻击更大的指令-执行失配与更弱的实际执行;在 Kinova Jaco2 与 ROKAE xMate ER7 Pro 上,打印补丁未经重新优化即把任务成功率从 64% 降到 28%、从 74% 降到 36%、从 86% 降到 48%。

Source-provided article image: ExecGap: Exploiting Command-Execution Gap for Patch Attacks on Vision-Language-Action Models
arXiv

深度剖析

对抗补丁可以不再只追求让模型预测出错,而是让模型给出的指令在机器人身上难以被有效执行,从而削弱任务推进。 此前的 VLA 补丁攻击主要优化预测层偏差、语义混淆或整段 rollout 的偏离,把模型输出或 rollout 行为当作攻击目标,较少考虑指令还要经过下游控制与机器人本体才能落地。 在 LIBERO 的 Spatial、Object、Goal、Long 四个套件上,ExecGap 在 OpenVLA 上取得全部四个套件中最大的指令-执行方向误差与归一化幅值失配,并在每个套件上取得最低的指令-执行增益;由于多个基线已把任务成功率压到接近零,区分度体现在这些执行侧指标上。

补丁的优化目标是一个不经过下游执行求导的替代量:把预测指令拉向当前机器人状态下估计出的低可执行方向。 直接优化指令与实现运动的失配需要对下游执行和闭环 rollout 求导,ExecGap 改用机器人感知的替代目标,由运动学低效与动力学弱驱动两部分构成。 运动学项用雅可比奇异值分解取最小奇异值对应的方向,动力学项用力矩上限诱导的任务空间加速度多面体中离原点最近的支撑面法向做玻尔兹曼加权;在 400 个 OpenVLA-OFT 状态上固定状态与指令幅值比较四种指令方向,低可执行方向在四个套件上都给出最大的平均方向误差。

启示与展望

验证范围是 LIBERO 四个 10 任务套件的仿真,加上 Kinova Jaco2 配 OpenVLA、ROKAE xMate ER7 Pro 配 OpenVLA 与配流式策略三组真机配对,每组 50 次干净与 50 次受攻击试验,补丁打印后放在固定、可见、不遮挡的桌面位置且不做真机重新优化。读者对象是关心机器人操作策略对抗鲁棒性的研究者与工程师。

ExecGap 需要白盒访问 VLA 策略以及机器人状态和模型信息来估计低可执行方向;物理验证限于若干机器人平台与桌面场景;工作聚焦于暴露执行退化攻击,未研究检测或防御。