第一人称视频转机器人数据改看物体接触:Ego2X 让 X-VLA 在配对场景上从零样本 40.5% 升到 63.5%
核心概要
把第一人称视频转成机器人可执行数据,此前主要迁移手和手臂的运动轨迹,并以视觉外观判断像不像;但单目手部估计沿视线方向会漂移,而稳定操作要求物体表面上的精细接触,于是手指悬在物体旁、夹爪夹在空处。Ego2X 改为以物体为中心,用接触记录描述每次接触落在物体表面的哪个锚点、相对力多大、属于哪种抓握模式、处于哪个交互阶段,并让这套记录贯穿深度校正、逆运动学与视频合成。在 RoboTwin 2.0 中,仅用经校验的 Ego2X 片段后训练 X-VLA、不加入仿真专家演示,配对场景上的任务成功率从零样本的 40.5% 提升到 63.5%。
深度剖析
第一人称视频转机器人数据的迁移单位从手部运动换成了物体坐标系下的接触记录,转换出的轨迹因此要满足物体表面上的接触,而不只是看起来像人手在动。 此前的 ego-to-robot 流程把三维手部运动学重定向到机器人关节,并以视觉外观为主要保真判据;单目手部估计沿相机射线漂移可达厘米级,而稳定操作需要物体表面上的毫米级精度。 在 EgoDex 上,接触驱动的重定向比官方 HuRo 流程实现更多标注接触,对平行夹爪的物理接触拟合也高于 Ego2Robot;在 RoboTwin 2.0 的配对场景上,仅用经校验的 Ego2X 片段后训练 X-VLA,成功率从零样本的 40.5% 升到 63.5%。
这套表示把每次接触记在物体坐标系里,包括接触的物体表面锚点、外法向、推力方向、相对力、抓握模式和交互状态。 接触点由触觉时序与相机射线和物体表面的交点共同确定,因此不依赖手部绝对深度;锚点按手掌朝向、相邻指节不穿透、刚体运动一致性和二维遮挡顺序分为 Certified、Trusted、Hypothesis、Uncertain 四级,只有前两级参与后续深度修正与逆运动学。 在 HOT3D 上,接触驱动的深度校正降低了接触状态下的手部射线深度误差,并在估计位姿下降低了单目物体平移误差;在 EgoDex 上,接触驱动的重定向比官方 HuRo 流程实现更多标注接触。
同一份接触记录同时驱动跨形态重定向、保留物体的手臂擦除与合成,以及闭环仿真校验。 URDF 编译器把机器人碰撞几何映射成与抓握模式兼容的接触垫,接触驱动的逆运动学把灵巧手接触垫拉到锚点上,或为平行夹爪在物体坐标系中合成对跖抓取;交互状态则决定擦除时保护哪块物体像素。 在 RoboTwin 2.0 的配对场景上,仅用经校验的 Ego2X 片段后训练 X-VLA,成功率从零样本的 40.5% 提升到 63.5%,而未经筛选的片段池仍接近零样本。
启示与展望
演示范围限于 HOT3D、EgoDex 与 RoboTwin 2.0 三个基准上的单目第一人称视频转换,覆盖灵巧手与平行夹爪两类形态;下游策略结果来自仿真中的 X-VLA 后训练,物理机器人部署仍在进行中。
接触点定位仍受重遮挡下物体位姿估计误差限制;接触载荷被建模为视觉与运动学先验,而非经传感器标定的牛顿力;受当前硬件与排期限制,物理机器人部署尚未完成。
