跳到主要内容
返回时间线
arXiv来源发表:

LADE 用首 token 概率分布中的暗知识提取跨模型安全信号,在多个越狱攻击下降低攻击成功率并保持安全—可用性平衡

核心概要

该工作提出 LADE,一种仅依赖首 token 输出概率分布的模型无关防御框架:通过对比有害与良性查询,从暗知识中选出概率差异最大的 token 作为潜在安全信号,经分词器映射对齐到目标模型,再用 kNN 距离在生成前过滤有害查询;在 Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen2-7B-Instruct、Qwen3-8B、Gemma-7B-it、Mistral-7B-Instruct-v0.3 等模型上,LADE 在多种越狱攻击下取得最低或接近最低的平均合规率,并在八个模型中的六个上取得最佳安全—可用性平均表现。

Source-provided article image: Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge
Figure 1 · arXiv

深度剖析

作者发现安全对齐 LLM 的首 token 输出概率分布中存在潜在安全信号,即概率在有害与良性查询之间差异最大的 token,这些信号在不同安全对齐模型间一致对齐,形成模型无关的判别方向。 此前解码阶段防御依赖内部隐藏状态或表面拒绝 token(如“Sorry”“As”),本文把判别信息定位到首 token 概率分布的暗知识中,并给出跨模型迁移的经验证据。 在 Gemma 家族中,同一预训练骨干的 Gemma-7B 平均分类准确率为 0.6836,指令微调后的 Gemma-7B-it 升至 0.9396,Gemma-2-9B-it 为 0.9474,Gemma-3-4B-it 为 0.9647;跨模型参考—目标组合的迁移准确率与同模型自用相当。

LADE 由三部分组成:从暗知识提取潜在安全信号、跨分词器映射、基于 kNN 的判别,全部在输出概率上运行,不访问内部隐藏状态,并在生成开始前一次性过滤查询。 与 SafeDecoding、RDS、SafeInfer 等在每个解码步调整 token 概率或隐藏状态的方法不同,LADE 只做一次生成前过滤决策,因而无需架构特定的辅助模块。 分词器映射消融显示,同时启用子词切分处理与重复映射比例估计后,跨模型迁移平均准确率最高且最均匀;仅启用比例估计时平均准确率提升但仍有明显退化,说明子词切分处理是跨分词器迁移的主导因素。

在六至八个开源 LLM 与多种越狱攻击上,LADE 取得最低或接近最低的平均合规率,并在安全—可用性权衡上优于现有防御基线。 Self-Reminder 与 SafeDecoding 在弱对齐模型(如 Gemma-7B-it、Mistral-7B-Instruct-v0.3)上效果崩塌或引发大量过度拒绝,而 LADE 在这些模型上仍保持较低合规率与较低拒绝数。 表 1 中 LADE 在 Qwen2-7B-Instruct、Gemma-7B-it、Mistral-7B-Instruct-v0.3 上取得最低平均合规率;表 2 中 LADE 在八个模型中的六个上取得最佳平均表现,例如 Llama-2-7B-Chat 上为 1.60,优于 RDS 的 5.00。

与专用 guard 模型相比,LADE 在 Llama-3-8B-Instruct 上取得最高平均准确率 0.969,并在延迟与显存上更具优势。 guard 模型是独立训练的安全分类器,而 LADE 复用目标 LLM 的首 token 前向传播,无需额外模型或安全专项训练。 表 3 中 LADE 平均准确率 0.969,高于 WildGuard-7B 的 0.947、Llama-Guard-4-12B 的 0.852 与 Prompt-Guard-2-86M 的 0.575;表 4 中 LADE 显存占用最低(14.96 GiB),且比 Llama-Guard-4-12B 与 WildGuard-7B 快约数倍。

启示与展望

LADE 适用于已进行安全对齐、且可获取首 token 输出概率的 LLM 部署场景,例如公开权重模型或允许读取前若干候选 token 概率的接口;其离线阶段用 Hex-Phi 作为有害提取集与有害参考集、XSTest 作为良性提取集,并以 Llama-3-8B-Instruct 为参考模型,在线阶段对每个查询做一次生成前过滤。对安全对齐较弱的模型,判别准确率会下降,因此 LADE 被定位为与安全对齐并行的补充而非替代。对闭源 API,附录 I 显示仅保留最可能的少量首 token 即可复现几乎全部过滤决策,说明该路线在受限概率访问下仍可运行。

LADE 依赖目标模型存在安全对齐,对弱对齐模型判别准确率较低;在 Mistral-7B-Instruct-v0.3 上对 Alpaca 良性查询的拒绝数高于无防御基线,说明有害参考流形与部分对话式良性查询存在重叠;面对知晓 LADE 全部组件的白盒自适应攻击,准确率从 1.000 降至 0.480,虽仍高于所比较的 guard 模型,但作者明确说明该评估只覆盖单一受控白盒攻击,不能确立对所有自适应攻击的稳健性。此外,对间接或情境依赖的有害查询(如涉及虚假医疗主张或对未来事件的特定预测),首 token 分布未呈现清晰判别模式,这类边界情形仍是开放问题。