EyeRobot 2.0 用主动注视让单台立体相机完成精细双手操作,在腕部相机被遮挡时成功率由 22% 提升到 48%
核心概要
该工作提出 EyeRobot 2.0 框架,用主动注视(Active Visual Fixation)让两个视点物理转动对准场景中的 3D 注视点,并以中央凹方式分配更多视觉 token,从而仅用一台立体相机完成精细双手操作;在 7 个真实与 6 个仿真任务、超过 1000 次真实与 1800 次仿真试验中,它比被动立体相机策略在真实场景高 40%、仿真高 20%,在腕部视角清晰时与自我视角加腕部相机策略相当(69% 对 64%),在抓取物体遮挡腕部相机时成功率超过后者两倍(48% 对 22%)。
深度剖析
提出以主动注视实现精细双手操作的框架:两个视点通过转动把注视中心对准场景中的 3D 注视点,图像再以中央凹方式处理,把更多视觉 token 分配给图像中心,使计算集中在任务相关特征上。 相对仅依赖被动立体相机或自我视角加腕部相机的常规配置,该工作把“看哪里”变成可控制的动作变量,而不是固定的相机布局。 摘要给出框架描述与在 7 个真实、6 个仿真任务上的对比实验,并报告超过 1000 次真实与 1800 次仿真机器人试验。
用分层方式实现注视协调:先训练以目标物体为条件的低层注视伺服策略,再训练根据任务进展输出注视目标的目标选择器。 把注视控制拆成低层伺服与高层目标选择两级,使注视序列能在任务执行过程中随进展调整。 两个模块均在真实世界数据上用强化学习训练,第一个使用稠密几何奖励,第二个与行为克隆(BC)夹爪策略共同训练。
目标选择器与 BC 夹爪策略共同训练后,能够发现与人类注视序列相似的注视序列。 注视目标不是人工指定,而是通过与操作策略共同训练被学习出来。 摘要陈述该共同训练“allows it to discover fixation sequences that can resemble a human's fixation sequence”,未给出量化相似度指标。
利用注视把夹爪信息规范化到注视相对的 SE(3) 坐标系,从而压缩需要学习的动作分布规模。 把注视点作为动作表示的参考系,而不是使用固定的世界或相机坐标系。 摘要给出该机制说明,并把它与仅用立体相机时缩小与腕部相机策略差距的结果相联系。
启示与展望
该工作面向需要在精细双手操作中使用尽量少相机的机器人系统,尤其是腕部视角容易被抓取物体遮挡的场景。它适用于具备可转动双眼视点、并能采集遥操作数据的平台;摘要所述结果建立在 7 个真实与 6 个仿真任务、超过 1000 次真实与 1800 次仿真试验之上,对比对象为在同一数据上训练的被动立体与自我视角加腕部相机策略。对于没有可动注视机构或无法获得同类遥操作数据的系统,其适用性需要另行评估。
摘要未给出注视序列与人类注视相似度的量化指标,也未说明注视伺服的精度、延迟或失败模式;真实与仿真任务的具体构成、数据规模与训练细节需查阅正文。注视相对 SE(3) 表示在多大程度上贡献了最终成功率提升,摘要未做消融说明。这些属于可进一步阅读正文确认的开放问题。
