冻结的重建模型不必重训:测试时只优化缺失通道,20组里19组误差下降
核心概要
整条传感器通道缺失时,窗口内没有可插值的局部观测,而为每种缺失模式单独训练填补器代价很高。研究把每个测试窗口的缺失项当作可优化变量,固定已训练好的序列重建模型参数,只对观测坐标上的重建残差反向传播,从而在推理阶段把重建器改造成填补器。在五个真实数据集、四种重建架构、每个测试窗口合成屏蔽一条完整通道的设置下,无先验的测试时优化在20组数据集与骨干组合中有19组降低了平均绝对误差,但相对掩码感知填补器只在两个数据集上取得最低误差。
深度剖析
一个已经训练好并冻结的序列重建模型,可以在推理阶段被改造成填补器,用来处理训练时从未见过的整通道缺失,而不更新任何权重。 此前的深度填补器在训练中学习条件补全或采样过程,掩码感知方法需要显式看到观测掩码并接受人工损坏训练;整通道缺失又因窗口内没有该通道的任何观测而无法局部插值。 在五个真实数据集、四种重建骨干上,每个测试窗口合成屏蔽一条完整通道,无先验测试时优化相对单次前向重建在20组组合中的19组降低平均绝对误差,唯一例外是TCN-AE在Electricity上相对上升0.8%。
做法是把缺失位置当作自由变量,让冻结模型在观测位置上的重建残差尽量小,用这个自洽条件反推缺失值。 优化变量初始化为训练集逐通道均值,观测位置在每一步都被钳回原值,梯度只落在缺失坐标上,因此输出仍是模型给出的补全而非直接返回优化变量。 优化用Adam、学习率10⁻²、最多5000步并按目标值提前停止;在用于运行时间对比的最快配置中,停止迭代中位数为201至206步,90分位为201至209步。
这种改造是否有效取决于缺失输入能否影响观测输出,研究用缺失到观测残差的交叉雅可比刻画这一耦合。 若重建器近似恒等映射,观测输出不依赖缺失输入,交叉雅可比为零,观测残差就不提供任何恢复梯度;耦合弱或秩亏时,多个补全可以同样自洽。 当交叉雅可比在精确解处满列秩时,该解在邻域内是孤立的,局部高斯-牛顿曲率由交叉雅可比转置乘自身决定;可选的时间平滑先验只对弱约束方向起正则作用,在20组组合中11组降低误差、2组在报告精度下不变、7组升高。
启示与展望
演示范围是五个真实数据集(BeijingAir、ItalyAir、ETTh1、Electricity、PeMS)、四种重建骨干,以及每个测试窗口合成屏蔽一条完整通道的受控设置;重建器只用原生缺失训练,掩码感知基线则接受人工损坏训练。
交叉雅可比诊断只覆盖四种骨干中的三种,MTAD-GAT因诊断运行时间过高被略去;作者指出该诊断是示意性的,并未确立条件数单独预测填补精度或先验收益的系统关联。评估未覆盖多个通道同时缺失、块与通道混合缺失以及更长预测窗口,也未证明对任意重建器都成立。
