跳到主要内容
返回时间线
arXiv来源发表:

三角片元也能实时建图:Facet-SLAM 在 Jetson 上跑到传感器帧率,网格距离降到 0.86 厘米

核心概要

Facet-SLAM 把三角片元引入实时 RGB-D 同步定位与建图,让地图本身就能直接三角化成连通网格。此前基于三角片元的 TS-SLAM 依赖光度跟踪,只有每秒几帧,难以在设备端定位。该系统让跟踪器用融合深度固定每个三角形的质心,并以 GICP 配准帧,同时限制建图器只做非平移更新;在桌面 GPU 上约 100 FPS,在 Jetson AGX Orin 上达到传感器帧率,Replica 上 Delaunay 网格的 chamfer 距离从 1.55 厘米降到 0.86 厘米。

Source-provided article image: Facet-SLAM: Real-Time Triangle Splatting SLAM
arXiv

深度剖析

三角片元地图现在可以在 RGB-D 相机上实时构建,并且地图本身就能直接三角化成连通网格,不需要额外的提取或融合阶段。 此前的三角片元 SLAM 方法 TS-SLAM 沿用早期 3DGS SLAM 的光度跟踪,精度可以但只有每秒几帧,无法在设备端做定位。 在 TUM RGB-D 三个场景上,该系统的平均 ATE 为 1.76,TS-SLAM 为 1.57;桌面 GPU 上为 113 FPS,TS-SLAM 为 1.5 FPS,Jetson AGX Orin 上为 36 FPS。

跟踪与建图被拆成两个职责:三角形的位置由深度观测决定,外观、形状和朝向交给建图器优化。 直接用三角形自身法线做点到面配准在真实深度上不可靠,因为建图器的复合损失会把三角形推离观测表面。 消融中,点到点配准在 TUM RGB-D 上 ATE 为 4.50,点到面为 8.49,采用邻域质心散布估计协方差的 GICP 为 1.76;把建图器限制为非平移更新后,TUM RGB-D 上 ATE 为 1.76,而顶点自由移动时为 5.11。

地图几何精度同时超过此前的三角片元和 3DGS SLAM 方法,而渲染质量与三角片元方法相当。 3DGS 地图表面几何较差,要得到好网格需要事后提取、中间表示或体素融合。 在 Replica 上,Delaunay 网格的 chamfer 距离为 0.86 厘米,TS-SLAM 为 1.55 厘米;TSDF 融合的 chamfer 为 0.67 厘米,TS-SLAM 为 0.95 厘米。

启示与展望

演示范围是 RGB-D 相机在 TUM RGB-D、Replica 和 ScanNet 上的跟踪、建图与网格质量,硬件为 RTX 4090 桌面机和 Jetson AGX Orin;实机实验为手持相机绕桌面结构拍摄、在 Jetson AGX Orin 上在线建图。

建图质量整体仍低于 3DGS 方法,部分源于为计算效率做的设计选择,例如使用 0 阶球谐和更保守的致密化;跟踪精度与 TS-SLAM 相比略低,在 TUM RGB-D 上平均 ATE 为 1.76 对 1.57。