潜空间里的检测误差也会二次下降:高维理论能预先算出虚警固定时的漏检率
基础模型把图像、文本、音频编码成高维潜向量后,检测与分类的误差概率如何随模型规模与训练样本量之比变化,此前缺少可计算的刻画。研究在线性与二次两类判决统计量上给出大偏差意义下的显式速率,发现该速率随形状参数呈非单调变化,包括二次下降乃至多次下降;在DINOv3、Llama-Nemotron-Embed-1B-v2与BEATs的潜空间实验中,理论预测的速率与固定虚警下的检测概率同实测曲线接近。
基础模型把图像、文本、音频编码成高维潜向量后,检测与分类的误差概率如何随模型规模与训练样本量之比变化,此前缺少可计算的刻画。研究在线性与二次两类判决统计量上给出大偏差意义下的显式速率,发现该速率随形状参数呈非单调变化,包括二次下降乃至多次下降;在DINOv3、Llama-Nemotron-Embed-1B-v2与BEATs的潜空间实验中,理论预测的速率与固定虚警下的检测概率同实测曲线接近。
该工作把数据集选择建模为含多个异质来源与加权岭回归的高维回归问题,仅用汇总统计量并给出标签级或特征与标签联合的ρ-零集中差分隐私保证,其核心技术结果是测试误差的确定性等价,刻画样本量、协方差结构、模型偏移、正则化与隐私噪声之间的相互作用,从而可在不访问数据本身、仅依赖总体层面量的条件下优化权重与岭正则化超参数并判断私有外部数据集是否有用,并在合成与真实数据集上给出实验支持。
已读完全部报道