跳到主要内容
返回时间线
arXiv来源发表:

微调服务被投毒后还能救回拒答:只修两层LoRA,恶意分从11.54降到0.08

核心概要

面向微调即服务场景,恶意微调会在保留下游任务表现的同时削弱模型的拒答行为。SLDR把逐层安全诊断改成带符号的敏感度谱,只在敏感度最高和最低的两层上训练LoRA恢复适配器,并在推理时按表示层的恶意分数决定是否启用。在Llama3.1/SST2上,平均有害分从11.54降到0.08,下游准确率与未设防微调持平,投毒比例升到0.9时有害分仍接近零。

Source-provided article image: SLDR: Defending Against Malicious Fine-tuning via Selective Layers Recovery and Dynamic Routing
Figure 1 · arXiv

深度剖析

恶意微调后的模型可以只靠两层参数恢复拒答能力,而不必整体回滚或剪枝。 此前的后处理防御多在模型级别做粗粒度修复,例如扰动权重或剪枝有害参数,安全修复与任务行为纠缠在一起,拒答能力恢复时下游表现容易一起被改动。 在Llama3.1/SST2默认设置下,平均有害分从无防御微调的11.54降到0.08,下游准确率为92.32,与无防御微调的92.39基本持平;作为对照,Lisa和Antidote把有害分压到1.70和1.50,但下游准确率掉到74.17和84.86。

恢复适配器只挂在敏感度谱两端的层上,推理时再按查询的恶意程度决定是否启用。 逐层安全诊断此前主要回答安全行为集中在哪些层,并不区分某一层被增强后是加强还是削弱拒答。 做法是先对每一层单独缩放注意力与前馈权重,在过度拒答数据集上统计拒答次数变化,得到带符号的敏感度分数,再取分数最高与最低的两层训练LoRA恢复适配器;推理时用最后一层隐状态与有害、良性参考集的余弦相似度差作为恶意分数,超过阈值0才走恢复后的模型。消融显示只用其中一个端点或改用其他层都会变差,例如Qwen2.5上只用正端点有害分为0.80,只用负端点为0.20,改用其他层为0.90。

启示与展望

演示范围是LoRA式恶意微调后的恢复:下游任务训练阶段既可用LoRA也可用全参数微调,但恢复阶段只训练LoRA适配器,且实验在单张A100-PCIE-40GB上完成,未覆盖70B级模型。评估覆盖Llama3.1、Llama3、Qwen2.5、Mistral-v0.2四种架构,SST2、AGNEWS、GSM8K、AlpacaEval、Magicoder五个下游任务,以及BeaverTails、DirectHarm4、HarmBench、HEx-PHI四个有害基准。逐层探测是一次性离线开销,32层共0.3663小时;推理时每条约增加0.0172秒。

越狱攻击下保护明显减弱:Zulu攻击中SLDR有害分为61.53,虽低于原始对齐模型的66.82,但整体仍处高位;IJP攻击下为15.53,高于原始对齐模型的12.94。路由机制本身的鲁棒性未被讨论,攻击者可能构造恶意分数低于阈值的对抗样本绕过动态路由。恢复阶段不支持全参数微调,更大参数规模的模型与更复杂的分布外攻击尚未实验。