扩散模型判分布外不再只看重建误差:DUO加一路特征敏感度,12对基准平均AUROC到0.897
核心概要
扩散模型做分布外检测常依赖重建误差,但分布外输入可能被同样好甚至更好地去噪,使这一分数重叠甚至反转。DUO在冻结的扩散模型上增加一路信号:中间去噪特征对小幅输入扰动的敏感度谱,并用纯分布内数据完成特征层、噪声水平与两路融合的标定。在12对图像基准上,DUO的平均AUROC为0.897,高于最强基线EigenScore的0.838,同时单样本推理耗时0.28秒。
深度剖析
分布外检测不再只问扩散模型把输入重建得多准,而是同时读取重建误差和中间去噪特征对输入扰动的局部敏感度,两路信号合成一个单侧分数,分数越高表示分布外证据越强。 此前的扩散模型检测器主要用去噪或重建误差,并默认分布内输入重建得更准;当分布外输入与分布内共享低层统计、纹理或语义结构时,两者的重建分数会大幅重叠,甚至出现分布外分数更低的倒序。 在CIFAR-10、CIFAR-100、SVHN、CelebA互为分布内外的12对基准上,DUO平均AUROC为0.897,最强基线EigenScore为0.838;在FFHQ-256高分辨率基准上平均AUROC为0.999,GEPC为0.826。
敏感度这一路不形成完整雅可比矩阵,只对含噪输入的某个解码器中间层激活做有限差分探测,取响应矩阵前几个奇异值的平方和作为该层、该噪声水平下的敏感度统计量。 重建这一路衡量去噪残差的大小,敏感度这一路衡量中间特征对局部扰动的响应强度,两者刻画的是去噪器的不同侧面,因此可以互补。 特征层与敏感度噪声水平只用500张分布内校准图像选出:先用几何变换后的图像作为代理偏移挑层,再按分布内得分的变异系数挑噪声水平;测试用互不重叠的500张分布内和500张分布外图像计算AUROC。
两路分数各自按分布内校准集标准化后加权融合,融合权重同样只用分布内数据确定,整个检测器无需训练、无需标签,也不需要任何分布外样本。 只用重建一路时,在重建发生倒序的分布对上检测会失效;只用敏感度一路时,12对基准平均AUROC为0.856,低于两路融合的0.897。 在12对基准上,只用重建一路的平均AUROC为0.704,只用敏感度一路为0.856,部署的融合权重为0.897;探测方向数、保留特征值个数、噪声重复次数和探测尺度在给定范围内变动时,平均AUROC保持在0.892到0.901之间。
启示与展望
演示范围是冻结的、在分布内数据上训练的扩散模型,覆盖CIFAR-10、CIFAR-100、SVHN、CelebA的12对图像基准,以及近分布外、FFHQ-256高分辨率、ImageNet-64和LSUN、iSUN、Textures等额外分布外数据集;标定只用500张分布内图像,测试用互不重叠的500张分布内与500张分布外图像。作者把把同一读出方式扩展到基础扩散模型、仅做轻量分布内校准或适配,列为未来方向。
方法需要一个在分布内分布上训练好的扩散模型,当分布内数据稀缺或训练扩散模型代价高时,实际使用会受限。敏感度这一路需要额外的前向计算来估计特征雅可比谱,虽然比基于幂迭代的方法便宜得多,仍比单次重建分数昂贵。在D4RL轨迹研究中,中等质量轨迹相对中等回放分布内数据接近随机水平,作者将其归因于两者作为子群体彼此相似。
