冻结的机器人策略自己当防御器:RECLAIM不改参数,把LIBERO-Object成功率从0%拉到70.0%
核心概要
对抗补丁贴在机器人相机视野里,会通过“感知—动作”闭环把错误动作放大成后续错误观测。RECLAIM 不改动已冻结的视觉—语言—动作策略参数,也不训练额外模型,而是用策略自身对局部图像改动的注意力变化和动作不确定性,判断补丁在哪、该用哪种局部修复,并在机器人移动、场景变化后重新评估。在 OpenVLA 与四种补丁攻击的 LIBERO 任务上,它让 95% 的评测任务至少有一次成功,LIBERO-Object 的成功率从无防御的 0% 升到 70.0%,平均每控制步决策耗时 548.9 毫秒。
深度剖析
对抗补丁在机器人操作中不只是让单帧识别出错,它会通过闭环改变机器人动作,进而改变下一次看到的画面,使最初的干扰不断累积。RECLAIM 把防御放在输入侧:在冻结的视觉—语言—动作策略前修改观测图像,让策略重新按指令执行任务。 此前的防御要么微调视觉编码器、需要干净与受扰样本对,要么依赖分割模型、扩散模型或外部视觉语言模型做辅助推理,带来额外的训练或在线计算负担。 在 OpenVLA 与 UADA 补丁攻击的匹配条件下,无防御时 LIBERO 四个套件的 rollout 成功率为 0.00%,RECLAIM 为 52.92%,加速版 PAD 为 40.83%;RECLAIM 的任务覆盖率为 95.00%,PAD 为 80.00%。
判断补丁位置时,单看注意力强弱并不可靠,因为机械臂、夹爪和被操作物体本身也会吸引注意力。RECLAIM 先用已知的机器人几何把机械臂和夹爪对应的注意力扣除,再看剩余注意力是否持续集中在某些区域,把这些区域作为待检查候选。 对每个候选区域,它不预设一种修复方式,而是同时尝试灰度混合、模糊、中值填充、Telea 修复等多种局部算子,再比较哪种处理更合适。 比较依据是处理后该区域的注意力占比是否下降、动作预测的熵是否降低,以及不同算子族在区域之外是否让策略以相似方式关注周围场景;在 UADA 下,只用灰度算子的变体成功率为 37.50%,只用 Telea 的变体为 47.92%,完整 RECLAIM 为 52.92%。
机器人一移动,之前选中的修复区域和算子可能就不再合适,因此防御需要记住最近的选择并重新打分。RECLAIM 维护一个近期选中区域与算子的记忆库,在完整决策时把旧候选和新候选放在当前画面上一起比较,两次完整决策之间则沿用仍通过几何与动作质量检查的处理。 若去掉这套时间重评估、每个控制步都重新定位和选择,成功率与掩码对齐都会大幅下降。 去掉时间重评估后,成功率从 52.92% 降到 4.17%,掩码 IoU 从 50.83% 降到 16.90%,每控制步的策略查询次数从 2.107 升到 9.572;完整 RECLAIM 平均每控制步 548.90 毫秒,加速版 PAD 为 2,419.64 毫秒。
启示与展望
评测范围是冻结的 OpenVLA 在 LIBERO 四个套件共 40 个任务上的操作,以及 NORA 在相同 UADA 设置下的对照,补丁位置在评测前固定于图像坐标。读者对象是关心具身策略部署安全与推理时干预的研究人员和工程师。
干净输入下 Long 套件的成功率从 50.00% 降到 30.00%,作者认为更长的动作序列可能放大微小的感知或净化误差;NORA 在干净 Long 上只有 5.00% 成功率,因此其 S/O/G 子集被视为更能反映防御表现的评估范围。
