相机位姿不必先配对点:MomentPnP 用十四阶矩匹配,乱序点云也能定姿
核心概要
在不知道二维点与三维模型点对应关系的情况下,MomentPnP 先比较两组点集的整体统计量再求对应:它把观测点与投影模型点的矩特征均值对齐,用十四阶矩在无噪声完整输入上确定透视相机位姿,再用期望最大化细化位姿与对应权重。在三个盲 PnP 基准测试集上,其旋转误差中位数比最好的学习型基线小 5 至 170 倍;当离群点与内点一样多时,82.3% 至 97.0% 的帧旋转误差低于 5 度。
深度剖析
相机位姿可以在逐点配对之前估计:MomentPnP 直接比较整组二维观测点与整组三维模型点投影的统计特征,先得到位姿,再据此把每个观测点分配给最近的投影。 此前的局部方法需要初始位姿或位姿先验,全局方法在位姿空间做分支定界搜索,学习型方法则从训练数据预测对应关系;这些路线都依赖对应关系、先验或搜索。 在 MegaDepth、ModelNet40 与 Data61 三个基准测试集上,MomentPnP 的旋转误差中位数比最好的学习型基线小 5 至 170 倍,平移误差中位数小 9 至 320 倍;离群点与内点数量相同时,其准确率为 82.3% 至 97.0%。
方法把位姿估计变成两组特征均值的对齐问题,不需要任何点对。 矩是点坐标乘积的统计平均,一至四阶共十四个矩在无噪声完整输入上足以确定位姿;有离群点时改用有界的傅里叶特征,单个远离点的影响因此有界。 在三个基准各 100 帧上,从相同初始位姿出发,三阶或四阶矩在期望最大化之前就把 53 至 78 个位姿带入 5 度与 1% 平移误差以内,而只用均值与协方差最多带入两个。
矩匹配给出初值后,期望最大化用每个观测点单独细化位姿,并同时估计噪声与离群比例。 细化沿用 EM-ICP 与相干点漂移的思路,但改写为透视投影下的混合模型:每个观测要么是矩形上的均匀离群点,要么是某个模型点的含噪投影。 在 ETH3D 激光扫描的渲染视图上,点数从 1000 增至 256000 时旋转误差中位数下降,一百万点时 Facade 视图为 0.066 度;此时 21% 至 25% 的二维点离另一个投影更近,最近投影标注已无法逐点分辨。
启示与展望
演示范围覆盖三个盲 PnP 基准测试集、四个额外数据集的跟踪点输入、ETH3D 渲染激光扫描直至一百万点,以及完整 ETH3D 场景重建上的单图定位;在完整场景重建上,39 个调参查询全部在 5 度以内,39 个测试查询中恢复 35 个。
当二维点没有对应的模型点时,即使位姿正确,特征均值也未必匹配,因此独立选取的输入仍比跟踪点输入更难;对抗性离群点可能使恢复失败。在近乎对称或浅深度的模型上,均值与协方差无法区分的七个备选位姿要靠期望最大化逐个比较,其中哪一个会被选中并未得到证明。
