D2ToF把扩散蒸馏成一步:单帧单光子波形约毫秒重建深度,误差约为Marigold-DC三分之一
核心概要
低成本单光子LiDAR阵列只给出极低空间分辨率的飞行时间波形,难以直接用于深度成像。D2ToF把多步条件扩散模型蒸馏成单步生成器,并在训练目标中加入可微的直方图数据一致性项,使重建深度回投到低分辨率波形后与实测一致;高分辨率反射率图与冻结的单目深度模型补上几何先验。在模拟Middlebury场景的干净条件下,单步模型平均RMSE为11.7毫米,约为Marigold-DC(32.9毫米)的三分之一,单次前向约毫秒级,远快于其250步教师。
深度剖析
单光子LiDAR的深度重建从多步迭代采样改为一次前向生成,使极低分辨率波形也能在毫秒级得到高分辨率深度图。 此前的即插即用方法和迭代扩散方法推理开销大,且多依赖视频多帧或较高基础分辨率,单帧极低分辨率波形上的高效重建研究不足。 在模拟Middlebury场景的干净设置(SBR 2.0、PPP 450)下,单步模型平均RMSE为11.7毫米,低于其250步DDPM教师的13.9毫米,也低于Marigold-DC的32.9毫米和直方图对齐的DepthAnything基线的33.0毫米。
重建过程同时受三路信号约束:飞行时间直方图给出绝对距离,高分辨率反射率图给出空间纹理,冻结的单目深度模型补上反射率图本身无法确定的几何结构。 直方图本身几乎不含空间布局,而反射率图虽纹理精细却对三维几何存在固有歧义,单靠其中任一路都不足以恢复细节。 消融中完整模型在干净、噪声1、噪声2三种设置下RMSE分别为11.71、20.16、21.75毫米,均低于只用直方图加反射率的18.19、25.83、26.69毫米和只用直方图加单目深度的12.59、21.69、23.11毫米。
训练时把预测深度按单光子前向模型重新渲染成低分辨率直方图,并与实测直方图比对,这一一致性项把生成结果锚定在采集数据上。 仅靠条件扩散先验并不能保证采样结果经过物理前向模型后复现观测到的光子到达直方图。 加入该一致性项后,四个模拟条件下的平均RMSE均下降,例如干净设置从12.16毫米降到11.71毫米,仅反射率退化的噪声1设置从21.26毫米降到20.16毫米,而训练只用了干净反射率图像。
启示与展望
评估覆盖模拟Middlebury场景的干净与暗光两种工作点,以及STMicroelectronics VL53L8传感器在光照良好和低光条件下的真实采集;真实数据没有深度真值,改用直方图一致性评价。方法需要与SPAD阵列共配准的高分辨率反射率图作为引导,训练数据全部来自Hypersim与MPI Sintel的模拟波形。
真实数据缺少深度真值,只能以直方图一致性衡量;单步学生在干净条件下表面法向误差为20.1度,高于教师的18.1度,尽管深度RMSE更低。对反射率退化的鲁棒性是在训练只用干净引导图像的前提下零样本测得的,作者未报告在其他传感器或更大阵列上的表现。
