跳到主要内容
返回时间线
arXiv来源发表:

医学基础模型的后门能跨模型迁移:BAPLe++用提示修复,在四个模型六个数据集上更稳地压低攻击成功率

核心概要

医学基础模型常用提示学习做少样本适配,只训练少量提示词而冻结主干;BAPLe++考察这种适配中被植入的后门能否随提示迁移到另一个医学基础模型,并提出DePLe,把受感染的提示当作固定锚点,在小规模干净数据上另学一个新提示。实验覆盖MedCLIP、BioMedCLIP、PLIP、QuiltNet四个模型和六个胸部X光与组织病理数据集,结果显示后门确实会跨模型迁移,但方向不对称且依赖数据集;与四种免训练输入变换相比,DePLe更一致地降低后门准确率,同时保持甚至在部分设置下提升干净准确率。

Source-provided article image: BAPLe++: Cross-Model Transferability and Prompt-Level Defense of Backdoors in Medical Foundation Models
arXiv

深度剖析

提示学习植入的后门不只留在原模型上,受感染的提示换到另一个医学基础模型后仍可能触发攻击者指定的类别。 此前后门研究集中在攻击如何构造,没有评估从一个源医学基础模型迁移到目标模型后的攻击效果,而机构实际部署的模型可能来自不同预训练语料。 在MedCLIP、BioMedCLIP、PLIP、QuiltNet四个模型和六个胸部X光与组织病理数据集上,迁移效果随方向、数据集和源主干变化:MedCLIP到BioMedCLIP的BAD为0.1,反向明显减弱;PLIP与QuiltNet之间大致对称,Kather上最弱、DigestPath上最强。

修复可以只发生在提示空间,不必重训冻结的主干。 此前后门藏在提示而非模型权重里,丢弃可疑提示或重训模型都不是理想选择。 DePLe把受感染提示固定为锚点,在小规模干净集上学习新提示,用干净任务损失加特征散度项把类别嵌入推离受感染提示诱导的区域;在十二个模型-数据集组合上,它在多数设置中取得最低后门准确率,例如MedCLIP在COVID上把后门准确率降到0.051,而免训练输入变换没有一个低于0.52。

启示与展望

实验限定在四个CLIP式双编码器医学基础模型和六个胸部X光与组织病理数据集,采用32-shot、固定中毒率和冻结主干的提示学习设置;结论适用于这一范围内的后门迁移与提示修复评估。

迁移并非均匀:它依赖迁移方向、数据集和源主干,因此跨模型风险真实但不均衡。DePLe并非处处最优,MedCLIP在RSNA18上Pixel Deflection的后门准确率略低但干净准确率几乎减半,QuiltNet在DigestPath上JPEG-30同时取得更低后门准确率和更高干净准确率。