跳到主要内容
返回时间线
arXiv来源发表:

不用标定天花板摄像头也能导航:ROMUX在随机机位下追平机器人自带相机

核心概要

室内服务机器人若借助墙上的监控摄像头导航,过去必须先标定每个相机的位置与内参,相机一挪或换房间就要重来。ROMUX把这一步换成监督学习:用大规模仿真数据训练跨视角Transformer,直接从外置相机图像预测以机器人为中心、按米度量的障碍栅格,再由一个小型PPO策略在该栅格上朝目标坐标行进。仿真中每个回合随机化相机位姿与内参,单相机成功率与机器人自带相机基线相当,双相机更高,并零样本迁移到真实机器人。

Source-provided article image: Navigating Robots from Unknown and Uncalibrated Exocentric Cameras via Map Estimation
arXiv

深度剖析

机器人可以只靠位置和参数都未知的外置相机图像朝目标点导航并避开障碍,系统不需要事先知道相机装在哪里、朝哪看、焦距多少。 此前的同类方法要么先做经典标定恢复相机位姿与内参,要么在部署前用学习阶段把感知模型拟合到每个具体机位;相机移动或进入新房间都得重做。 在仿真中每个回合重新随机相机位姿与内参,单台随机外置相机的ROMUX成功率与使用机器人自带相机的PPO策略相当,而固定外置相机的端到端PPO策略成功率落在无图像基线的区间内。

做法是把“把外置视角换算到机器人坐标系”这件事从强化学习目标里拆出来,单独当作监督学习任务。 端到端PPO在本设置下没能隐式学到这一视角变换,因此改为显式学习。 用微调过的DINOv2提取各视角图像块特征,去掉原跨视角Transformer依赖的相机嵌入,让可学习的地图查询通过六层解码器跨视角注意,输出以机器人为中心、对齐车头的二值障碍栅格;策略只在这张栅格和五维状态向量上训练。

地图估计模块与策略分开训练、不共享梯度,因此换场景时可以只重训地图模块而沿用原策略。 在纸板障碍换成照片级家具后,地图模块用18万张快照重训,而策略仍是纸板房间训练出的那一套。 在训练中见过的家具布局上成功率接近同配置纸板房间的结果,在13件留出家具上成功率下降、碰撞上升,但仍约四分之三回合成功。

启示与展望

演示范围是仿真中的纸板房间、照片级家具房间与四相机大房间,以及一间黑墙真实房间里的零样本迁移试验;真实试验使用一台外置相机、五个位置与两个高度,共若干次试验。作者说明该架构并非开箱即用的部署系统,感知模块完全在仿真中训练。

系统假设机器人至少在一张外置图像中可见,被完全遮挡时无法定位、预测地图失效;还假设整间可通行区域被相机覆盖。真实试验的失败主要与障碍布局有关,包括在窄通道前原地转向直到步数上限、机器人被高箱遮挡,以及地图把障碍距离和尺寸估偏导致碰撞。