强化学习即服务被20美元攻破:Bait用奖励探针让有害训练学不进去
智能体强化学习即服务把数据采样和奖励打分交给用户,一个有害奖励函数就能以低至20美元的成本抹掉模型的安全对齐。Bait在回滚阶段把专门训练的Bait模型生成的显式有害回答混入策略模型的回答组,用两类回答平均奖励之差(奖励散度)的符号判断奖励函数是否有害,检测为有害时翻转该组奖励符号施加惩罚。在自建测试台上,Bait把三种有害指令数据集上的平均有害分数从20.4降到6.8,平均智能体准确率从93.1升到96.0。
智能体强化学习即服务把数据采样和奖励打分交给用户,一个有害奖励函数就能以低至20美元的成本抹掉模型的安全对齐。Bait在回滚阶段把专门训练的Bait模型生成的显式有害回答混入策略模型的回答组,用两类回答平均奖励之差(奖励散度)的符号判断奖励函数是否有害,检测为有害时翻转该组奖励符号施加惩罚。在自建测试台上,Bait把三种有害指令数据集上的平均有害分数从20.4降到6.8,平均智能体准确率从93.1升到96.0。
开源权重模型的安全对齐高度稀疏,剪掉少量安全关键神经元或消融单个拒绝方向就能让模型输出有害内容。ABS-Align在偏好微调过程中逐步剪除这些已识别的安全关键神经元,迫使拒绝行为由网络其他部分重新建立,微调结束后再恢复被剪神经元。在Gemma-2-2B-IT、Llama-3-8B-Instruct、Llama-3.2-3B-Instruct和Qwen-3-4B四个模型上,该方法对TwinBreak、NeuroStrike、拒绝方向消融及十种SORRY-Bench黑盒攻击的成功率普遍下降,部分攻击降幅约90%,同时TruthfulQA提升而通用能力变化很小。
大型推理模型的安全对齐常用GRPO,但同一提示下采样的回答往往安全与否一致,组内相对优势随之消失,模型在持续不安全的提示上得不到指向安全的方向。Beacon把安全信号恢复与安全—效用解耦对齐合在一起:前者筛选高对比轨迹并在信号塌缩时直接监督安全参考回答,后者按提示类别给奖励并只对良性提示做KL锚定。在四个Qwen3与DeepSeek-R1-Distill变体、八个基准上,平均安全错误较初始策略降低17.69至32.83个百分点,XSTest过度拒答率为0.40%至1.20%。
研究把大模型拒答行为拆成一条跨层通路:前中层的“有害检测头”识别输入中的有害词,中后层的“安全神经元”在残差流中传递并稳定这一信号,后层的“拒答头”据此生成拒绝。对这三类组件做不改变架构的权重缩放后,六个模型在GCG攻击下的平均安全率从43.2%升到69.7%,四个标准基准上的平均准确率只下降1.7%。
在 18 对 Base–Instruct 模型上,有害性信息在注意力更新中更易解码,而拒绝证据主要由 MLP 写入,且后训练只增强写入、不提升识别。
面向微调即服务场景,恶意微调会在保留下游任务表现的同时削弱模型的拒答行为。SLDR把逐层安全诊断改成带符号的敏感度谱,只在敏感度最高和最低的两层上训练LoRA恢复适配器,并在推理时按表示层的恶意分数决定是否启用。在Llama3.1/SST2上,平均有害分从11.54降到0.08,下游准确率与未设防微调持平,投毒比例升到0.9时有害分仍接近零。
Anthropic 发布小模型 Claude Haiku 5.5,面向高并发、成本敏感任务,在 GDPval-AA v2.1、AA-Briefcase v1.1、OSWorld 2.1、Humanity's Last Exam、Terminal-Bench 4.0、FrontierCode 1.1 与 Chartography 等基准上均高于 Haiku 4.5,并首次在 Haiku 级模型上提供可调 effort 设置,同时运行成本平均降低约 75%。
该工作研究在策略蒸馏(OPD)用于安全对齐时是否会传播后门:作者用bi-GRPO构造安全对齐但含后门的教师模型,通过OPD训练原本干净的学生,发现仅3%投毒率即可使触发攻击成功率最高约70%,且增加训练轮数(10个投毒样本、16轮后达67%)与使用top-K KL都会加速后门迁移,并提出通过裁剪KL奖励的Lazy Defense来延缓这一过程。
该工作研究 LLaMA-2-7B-Chat 的安全敏感行为是否集中在稀疏参数子集内,采用低秩安全子空间分析与参数级安全—效用重要性筛选两种定位方法,发现安全敏感性在网络中高度不均匀,MLP 的 down_proj 始终是最突出的安全敏感组件,o_proj 贡献较小;在参数级定位下仅修改 down_proj 中 0.19% 的模型权重即得到 53% Basic ASR 与 56% GCG ASR,而 tinyBenchmarks 准确率为 51.6%,未修改基线为 52.2%。
该工作提出 Suan,一种新的偏好优化算法,其优化目标直接在梯度层面构造,绕过了标准的变分推导,从而获得更可解释、更稳健的训练动态;在多样化的竞争性基线与基准上的广泛评估显示,Suan 在实现更优安全对齐的同时完整保留了回答效用。