跳到主要内容
返回时间线
arXiv来源发表:

模仿策略学出本体感知锚点:一次测量即可预测新噪声下的敏感度,部署时保护却失效

核心概要

在带噪声物体位置读数上训练的模仿策略,并不按经典可靠性比例折减读数,而是把自身本体感知当作锚点,按读数噪声与锚点误差方差之比给读数加权。锚点误差方差须从策略本身测得,且远小于对示范数据的回归估计;在 Square 与 Can 两个任务、MLP 与扩散策略两类学习器上,一次测量预测了十个留出噪声水平的敏感度,平均绝对误差 0.025,经典误差变量回归为 0.37。闭环部署时策略自己产生机器人状态,锚点不再提供保护:通过注册门槛的 15 个策略中没有一个保留开环保护,8 个完全跟随持续读数偏移。

Source-provided article image: Imitation Policies Learn a Proprioceptive Anchor: A Predictive Law for Perception Noise and Its Closed Loop Cost
arXiv

深度剖析

训练时见过噪声物体位置读数的模仿策略,对读数的依赖程度可以被一条定量规律预测,而这条规律的关键参数来自策略自身而非示范数据。 经典误差变量回归把折减系数写成真实输入方差与噪声方差之比,并据此预测 12 毫米噪声下策略应保留 86% 的干净敏感度。 在 Square 的扩散策略上,12 毫米噪声训练的策略在信息轴上只保留了 23% 的干净敏感度,经典预测的排序成立但数值明显偏离。

一次测量即可外推:在 12 毫米校准策略上测得的权重,能预测同一学习器在其他噪声水平下对读数的响应。 此前没有对现代策略类在训练前给出这一折减的定量预测,经典误差变量回归是唯一候选且已失败。 在 Square 与 Can 两个任务、MLP 与扩散两类学习器、四个新噪声水平共十个留出预测上,锚点规律平均绝对误差 0.025 且十个全部落在注册容差内,经典误差变量回归平均绝对误差 0.37 且无一在容差内。

策略的折减来自一个本体感知锚点:示范者朝物体运动,机器人自身状态因此携带物体位置信息,学习器按可靠性把锚点与读数加权组合。 经典误差变量回归从示范数据估计锚点误差,线性与最近邻模型都给出约 30 毫米。 训练后的策略表现得像锚点误差只有约 7 毫米(扩散)和约 15 毫米(MLP),且干净读数处的偏差很小,排除了“把噪声想得更大”这一替代解释。

开环下的保护不能延续到闭环:策略自己产生机器人状态,持续读数偏移与物体真实位移无法区分。 注册的替代假设是锚点在闭环中继续保护,使对持续偏移的敏感度接近零。 通过注册门槛的 15 个策略中没有一个保留开环保护,8 个完全跟随偏移;对 MLP,偏移响应与真实位移响应相关系数 0.94(事后分析)。

启示与展望

结论建立在仿真环境 robosuite 中,噪声为加在物体位置上的合成高斯噪声,观测为低维状态,每个任务 200 条人类示范、每种配置两个随机种子;敏感度只在抓取前的五个早期时间步、针对平移动作探测。对图像输入的策略与真实感知噪声是否成立尚未检验,规律中的锚点误差方差须从策略测得而不能仅由数据推出。

所有噪声为高斯且除基准的 AR(1) 条件外按时间步独立,真实感知误差依赖视角、遮挡与物体位姿,可能重尾。锚点误差方差须测量而非推导,且随数据量变化:50、100、200 条示范下 12 毫米 MLP 的比值为 0.362、0.500、0.602。在 Square 的 x 轴上物体位置仅变化 1.4 毫米,扩散策略仍保留约 0.37 的敏感度,而校准锚点最多允许 0.05。前瞻性成功检验中开环敏感度与训练噪声混杂,按训练噪声插值的曲线同样能预测成功。闭环偏移检验的三条注册预测对两类学习器均为混合结论,解释中间策略的真实位移检验只在 MLP 上做过。