触觉后训练不再只看瞬时压力:CoRA-VTLA 记住最近接触响应,MuJoCo 平均成功率从 50% 升到 73.33%
核心概要
预训练视觉—语言—动作模型在精密装配中需要接触后的修正,但单帧触觉读数无法区分“顶住障碍”和“接触已稳定”。CoRA-VTLA 在动作专家一侧加入可查询的动作—响应记忆,用当前接触与机器人状态检索最近若干步的载荷变化,并用接触引导的注视监督把触觉语义令牌的视觉注意力拉向指尖接触区域。在三个 MuJoCo 任务上,它与使用相同传感器输入的直接触觉融合相比把平均成功率从 50% 提高到 73.33%,在 UniVTAC 光学触觉插管任务上达到 67%,三个真机任务平均 66.7%。
深度剖析
触觉后训练从“把当前压力塞进策略”变成“让策略查询最近接触对已执行动作的响应”,使预训练视觉—语言—动作模型在接触后能区分继续推进还是退回重对。 此前的直接触觉融合只把当前指尖压力和腕部力/力矩编码成一个动作侧令牌,在相同传感器输入下三个 MuJoCo 任务平均成功率为 50%。 CoRA-VTLA 在三个 MuJoCo 任务的 150 个未见场景上成功 110 次,平均 73.33%;与直接融合的差值 95% 配对自助法置信区间为 14.67 至 32 个百分点,配对检验采用双侧精确 McNemar 检验并按基准做 Holm 校正。
动作专家同时拿到两个触觉令牌:一个描述当前载荷,一个是从记忆里按当前接触和位姿检索出的近期响应,二者与视觉语言上下文一起生成动作块。 记忆记录每次执行动作后指尖压力与腕部力/力矩的变化,并保留相对初始读数的腕部力以维持持续载荷;查询由当前接触特征和机器人状态组成,经时间 Transformer 编码后读出。 在 MuJoCo 中最近事件窗口跨 0.8 秒;去掉记忆令牌后平均成功率降到 54%,去掉响应预训练初始化后同样为 54%,而完整配置为 73.33%。
触觉语义令牌的视觉注意力被显式引向指尖接触在图像中投影到的区域,避免直接触觉融合把动作专家的注意力从目标上摊开。 在 24 个匹配的 MuJoCo 观测上,直接触觉融合使首个动作令牌在第 17 层主相机注意力的归一化空间熵从 0.838 升到 0.884,接触区域所占份额从 1.62% 降到 1.18%。 加入注视监督后,语义令牌在第 17 层 VLM 中落在投影接触区域内的平均注意力份额从 2.77% 升到 46.65%,24 帧全部上升;真机插管示例中同一帧的前相机接触区域份额从 2.6% 升到 12.6%。
启示与展望
评估覆盖三个自建 MuJoCo 任务(钉子插入、插头插入、旋钮操作)、三个真机任务(叠杯、盖章、试管插入)以及公开 UniVTAC 基准的 Insert Tube;真机每个任务每种方法 50 次试验,MuJoCo 每个任务 50 个未见场景、共 150 次试验。记忆窗口在 MuJoCo 中跨 0.8 秒,UniVTAC 上同样取 0.8 秒的响应历史。
消融显示去掉注视监督后钉子插入成功率降到 26%,说明该机制在不同任务上的作用并不一致;作者把延长记忆时域与提升恢复过程的安全性列为后续方向。真机结果来自每任务 50 次试验,UniVTAC 结果只覆盖 Insert Tube 一个任务。
