跳到主要内容
返回时间线
arXiv来源发表:

潜空间里的检测误差也会二次下降:高维理论能预先算出虚警固定时的漏检率

核心概要

基础模型把图像、文本、音频编码成高维潜向量后,检测与分类的误差概率如何随模型规模与训练样本量之比变化,此前缺少可计算的刻画。研究在线性与二次两类判决统计量上给出大偏差意义下的显式速率,发现该速率随形状参数呈非单调变化,包括二次下降乃至多次下降;在DINOv3、Llama-Nemotron-Embed-1B-v2与BEATs的潜空间实验中,理论预测的速率与固定虚警下的检测概率同实测曲线接近。

Source-provided article image: Detection and Classification in Latent Spaces: High-Dimensional Analysis and Validation
arXiv

深度剖析

检测与分类的误差衰减速率在高维区间并不随模型相对数据变大而单调变差,而会出现二次下降,某些设置下还出现多次下降。 此前二次下降主要在回归问题中被系统刻画,高维性对检测与分类错误概率的影响基本未被探索。 在线性判决统计量上,速率随形状参数在临界阈值之后重新改善;当总体谱分布的支持点在以对数尺度均匀间隔时,速率随正则化参数出现多个局部极大。

做法是把观测先经基础模型编码器映射到潜空间,再在这个高维表示上套用Neyman–Pearson判决统计量。 为固定虚警下的检测设计的统计量无法直接用于真实结构化数据,因此需要先换到潜表示再判决。 实验覆盖DINOv3配Airbus与FireRisk、Llama-Nemotron-Embed-1B-v2配HumAID、BEATs配SONYC-UST-V2,理论速率曲线与经验曲线整体吻合,仅FireRisk上出现小幅垂直偏移。

给定虚警水平后,理论公式能预测对应的漏检概率,且近似对数似然比在小虚警区间优于逻辑回归与线性SVM基线。 标准基线需要微调,而近似对数似然比基本不做微调即可给出判决。 在视觉、文本、音频三类模态的ROC对比中,近似对数似然比在小虚警水平上系统性更好,在较大虚警水平上表现相当或更好。

启示与展望

演示范围是基础模型潜空间上的二类检测与多类分类,数据来自DINOv3配Airbus与FireRisk、Llama-Nemotron-Embed-1B-v2配HumAID、BEATs配SONYC-UST-V2,并另在BERT-base与ALBERT-base的文本表示上做了扩展检验。理论分析假设两类共享协方差,实验数据存在协方差失配,预测公式经扩展后用于拟合。

总体谱分布与信号方向需要估计,在某些设置下可能难以处理;协方差退化的情况不在当前分析覆盖范围内。二次统计量的速率在部分情形只给出上界,大偏差原理需逐例验证。