跳到主要内容
返回时间线
arXiv来源发表:

人脸识别流水线防后门有了三招:训练时揪出投毒身份,推理时拦下带触发器的输入

核心概要

针对训练数据可能来自第三方、模型却自建的人脸识别流水线,一套面向真实系统的后门防御组合被提出并实测:训练阶段通过早期批次中身份匹配准确率的异常升高识别投毒身份,推理阶段用第二个检测器比对框与关键点、用切块粘贴检查输入是否携带触发器。在RetinaFace检测器与五种特征提取器上,检测器配对在FGA攻击上平均假阴性率约7.1%、在LSA上约0.6%,切块粘贴对学得充分的后门假阴性率低于1%,但训练时防御对干净标签后门无效。

Source-provided article image: A Bag of Tricks for Defending Deep Learning-based Face Recognition Pipelines against Backdoor Attacks
arXiv

深度剖析

人脸识别系统由检测、对齐、防伪、特征提取多个模型串联而成,任一环节被投毒都可能让整条流水线在带触发器的输入上产生错误匹配,而现有后门防御大多针对闭集图像分类设计。 闭集分类假设固定标签空间,防御可以围绕离散输出标签做统计检验;人脸特征提取器工作在角间隔损失训练出的开集度量空间里,攻击者操纵的是嵌入相似度而非标签,标签中心的防御因此不适用。 在MS1Mv2上训练的5种特征提取架构上,All-to-One Poison-label攻击12例全部成功植入后门,而All-to-One Clean-label攻击只有3例成功、Master-Face Poison-label改造攻击0例成功,说明不同投毒方式的可学性差异很大。

训练阶段的早期投毒识别在训练早期批次里跟踪各身份的类内匹配准确率,把准确率异常提前抬升的身份列为可疑。 投毒样本被改标到目标身份并盖上触发器,触发器比人脸简单,模型先学会触发器,于是目标身份的top-1准确率比真实身份更早冲高。 在12例Poison-label后门中全部识别出后门身份,剪枝时最多只误删19个其他身份类,训练耗时约为原来的1.5倍;3例Clean-label后门则全部漏检。

推理阶段的两招分别守住检测器和特征提取器:检测器配对用现成的MTCNN与主检测器比对框数量和IoU、比对关键点漂移,任一不符即拒识;切块粘贴把输入切成块贴到少量留出人脸上,若混合图与原图余弦相似度异常偏高就判为可疑。 此前针对特征提取器的模型配对防御需要一个已知干净、同等规模的预训练提取器作对照,而检测器训练遵循标准监督流程,现成模型即可充当配对方。 检测器配对在FGA上平均假阴性率约7.1%、在LSA上约0.6%,平均假阳性率约0.8%;切块粘贴除两个弱后门模型外,假阳性率0.5%至1.1%时假阴性率均低于1%,每张图额外耗时约0.02秒(MobileFaceNet)至0.04秒(ResNet50)。

启示与展望

评测覆盖RetinaFace的MobileNetV1与ResNet50两种检测器,以及GhostFaceNetV2、IR-SE-50、MobileFaceNet、RobFaceNet、ResNet50五种特征提取器,训练用MS1Mv2、检测器用WIDER-Face,推理阶段防御在从CelebA-Spoof抽取的2048张人脸上测试。防御方被假定为流水线所有者,对训练与推理全过程有白盒访问权限。

训练时防御对All-to-One Clean-label后门完全失效,作者估计原因是干净标签投毒在目标类内同时提供真实身份信息,异常信号被削弱。切块粘贴在两个后门学得较弱的模型上失效,作者估计弱后门产生的余弦相似度偏低,离群检测难以区分。作者还指出UniID这类只需内部人携带图案的碰撞攻击不在现有防御假设之内。