固定线性擦除挡不住改过的上游:一个秩一仿射更新就能把目标分数重新送过擦除层
核心概要
开放权重模型发布后,攻击者可以改动产生特征的层,而固定的仿射擦除层保持不变。研究把这种情形形式化为:只要擦除层仍向下游允许的线性分类器传递一个方向,攻击者就能把目标分数写进该方向并穿过擦除层;对非恒定线性的目标分数,所需改动是一个秩一仿射更新。在六个 CIFAR-10 类对任务上,这条路径恢复了擦除前几乎全部的目标性能,同时可让已部署的良性线性头分数在数值容差内保持不变。
深度剖析
固定仿射擦除层只约束当前特征能被线性分类器读出什么,并不约束上游层被改动后模型能算出什么。 此前的线性概念擦除保证针对拟合分布和指定线性分类器族,即在该分布上没有任何该族预测器优于常数预测器。 在六个 CIFAR-10 类对任务上,使用 ImageNet 预训练的 ResNet-18 特征加 LEACE 层、每对五个随机种子,解析秩一适配器在路由强度超过阈值后恢复了擦除前目标分数的准确率,仅头部基线与常数映射对照则停留在各任务的基准率。
攻击者不必从擦除后的表示里恢复目标,而是在擦除层之前算出目标分数,再把它写进擦除层仍然传递的一个方向。 所需改动对非恒定线性目标分数是一个秩一仿射更新,即只沿一个方向修改上游表示并加一个偏置。 在全部六个类对中,存在一条保持已部署良性线性头分数的路径,该头对八个非目标 CIFAR-10 类做 softmax 分类,实测漂移在数值容差内,良性头预测与干净模型完全一致。
启示与展望
实验使用判别式图像模型上的良性类对代理任务,即六个共享类别的 CIFAR-10 类对、一个微调预算和两个小型非线性评估器,因此不对扩散模型、CSAM 领域数据或有害生成作直接的定量结论。定理 1 只覆盖通过固定仿射层的路由,非线性、含噪或重新拟合的瓶颈不在其中。作者提出,良性生成式代理是自然的下一步测试。
作者指出,紧的编辑上限会显著削弱这条路径,但开放权重发布没有机制去强制执行编辑上限,因此编辑上限是评估预算而非防御。擦除器在双精度下拟合后,在留出数据上仍留有可观的准确率,拟合样本上的抑制不一定迁移到新数据。微调对照未区分通用预训练与目标特定预训练,且首个采样检查点之前存在未采样的区间,无法排除局限在该区间内的瞬态。
