立面点云里读出建筑功能:冻结的Utonia线性探针达0.732 mAP,从头训练的网络没超过手工描述子
核心概要
语义标签只说明建筑构件是什么,不说明它能做什么,例如同一立面上两扇外观相近的窗可能一扇可开启、一扇固定。研究在22栋移动LiDAR建筑的5,172个构件上,为每个构件标注15项功能属性,并整栋留出建筑,比较手工描述子、从头训练的点网络与冻结的自监督点Transformer,三者共用同一线性读出层。冻结的Utonia在功能歧义构件上达到0.732 mAP,高于手工描述子的0.610;同架构随机权重对照为0.652,作者据此把增益归因于预训练。
深度剖析
建筑立面点云中的构件功能,可以从冻结的自监督点表示里用一层线性读出直接读出,而不必在少量标注建筑上从头训练网络。 此前的城市与立面点云基准主要标注语义类别,用于分割和细节层次重建;据作者所知,尚无网络专门针对三维立面点云的构件级功能属性预测设计,功能是否被点表示编码也未经检验。 在22栋移动LiDAR建筑、5,172个构件、每构件15项功能属性的HFX3D基准上,按整栋建筑做五折划分,每折留出3至5栋、用其余18栋训练,每个配置跑10个随机种子;在七个类别共2,472个功能歧义构件上,冻结Utonia的线性探针为0.732 mAP,手工描述子为0.610,仅用类别独热编码为0.556,低于0.569的机会水平。
增益来自预训练本身,而不是网络架构或空间上下文带来的容量。 从头训练的PointNet、PointNet++、DGCNN和1.08亿参数的PTv3落在0.548至0.628 mAP之间,其中包含一个融合形状、描述子、类别与邻接图的专门设计模型,均未可靠超过21个手工描述子。 把每个预训练架构冻结在随机初始化处作为对照,PTv3随机权重为0.649、Utonia随机权重为0.652;Utonia相对自身随机权重提高0.080,是唯一置信区间不含零的模型,其相对Sonata的0.716领先幅度在不确定度之内。冻结Sonata在逐点头上比从头训练的PTv3高0.130。
功能信号随标注建筑增多而继续提升,而微调会侵蚀这一收益。 手工描述子和随机权重特征在少量标注建筑后即饱和;在测试的微调配置下,端到端微调Sonata降到0.559,把骨干学习率降低50倍后为0.658,仍低于冻结骨干的0.678。 只用两栋标注建筑时,Utonia已达0.646,超过用全部18栋训练的描述子0.610;21个描述子加到冻结特征上带来的提升至多0.003,在测量上不可分辨。
启示与展望
结论建立在HFX3D基准的22栋同城建筑、5,172个构件上,评估限于七个类别共2,472个功能歧义构件,并以整栋建筑留出的五折划分和线性探针读出为条件。
作者指出,室外预训练数据是否带来进一步帮助需要更多建筑才能判断;Sonata与Concerto相对随机权重对照的增益在建筑层面不显著;线性探针只给出表示所含信息的下界,更强的读出可能提取更多;冻结骨干看到构件及其周边上下文,从头训练的网络只看到构件本身的点,两类比较在空间上下文与训练设置上并不一致。
