跳到主要内容
返回时间线
arXiv来源发表:

AnyVIO把视觉与惯性基础模型并进单次前向:位置误差比纯视觉模型降36%,每帧位姿延迟70毫秒

核心概要

AnyVIO把流式三维几何基础模型与惯性基础模型组合成单次前向的视觉惯性里程计,推理时不再运行滤波或因子图优化。它用一个轻量融合头估计两路运动估计的可靠性并加权融合,在汽车、足式与地面机器人、手持与头戴设备录制的九套数据集上,把其视觉模型的位置误差降低36%,并在收到图像后70毫秒发布位姿。模型还在两辆实车上以最高140公里时速部署,在弱光和浓尘中保持精度。

Source-provided article image: AnyVIO: Feed-Forward Streaming Visual-Inertial Odometry Across Platforms
arXiv

深度剖析

单目视觉惯性里程计可以在一次前向中同时用上图像和惯性数据,输出带公制尺度的位姿,推理阶段不需要滤波器、因子图或其他优化。 此前的几何基础模型要么没有公制尺度,要么只能从外观学习推断尺度;把惯性信息加进来的做法则通过滤波或因子图引入需要专家调参、且代价随轨迹增长的优化。 在汽车、足式与地面机器人、手持与头戴设备录制的九套数据集上,同一个模型把其纯视觉版本的位置误差降低36%,并在收到图像后70毫秒发布位姿。

做法是让视觉与惯性两条通路各自给出相邻帧之间的公制运动,再由一个学习到的融合头判断两路估计的可靠性并加权合并。 视觉一侧把非公制的流式几何基础模型改成有界内存的增量推理,并加一个尺度头预测公制尺度;惯性一侧用共享速度头的惯性基础模型输出机体速度,与陀螺仪积分得到相对位姿。 融合头在视觉与惯性两个模型冻结后单独训练,训练时每个数据集采样相同数量的序列,使模型在各平台上均衡;在KITTI-360的一段行驶中,吞吐保持恒定,而因子图随序列增长的FoundationVIO从8.1帧每秒降到0.9帧每秒。

实车部署覆盖了训练分布之外的场景,惯性信息在多数条件下带来增益。 在正常光照的柏油赛道上,加入惯性把平移相对误差从6.57%降到4.35%,SE(3)绝对位置误差从29.98米降到17.03米;在浓尘越野条件下,AnyVIO的SE(3)绝对位置误差为6.72米,不用惯性时为10.53米。 两辆实车分别搭载4070 Ti S与L4车载GPU,在RaceDataset的柏油与越野赛道上实时计算;在反向行驶时惯性帮助变小,AnyVIO的SE(3)绝对位置误差升至26.71米,接近纯视觉的27.52米。

启示与展望

演示范围是单目相机加IMU、无回环检测与全局优化的流式推理,覆盖九套驾驶、室内与步行数据集,以及两辆实车在柏油与越野赛道上的实时运行;材料说明模型将在接收后开源。

材料指出,在没有参与训练的KITTI Odometry上,SE(3)与Sim(3)绝对位置误差之间仍有较大差距,公制尺度只部分迁移到未见数据;在未参与训练的OpenLORIS上,HorizonStream的SE(3)绝对位置误差更低。材料还说明,惯性模型的代价取决于IMU数据流,可能拉低帧率,且系统需要相机与IMU的外参标定。