安全判定模型也能给出泛化保证:LoRA-GT 在全部 40 个模型—数据集—损失组合中证书最紧
核心概要
面向按固定生成器输出做安全分类的大语言模型判定器,一种基于 PAC-Bayes 的认证流程可以在不单独留出验证集的情况下给出非空泛、甚至较紧的风险上界,同时覆盖 0–1 分类风险和 Brier 风险。做法是把标准参数高效微调得到的适配器量化、无损压缩,用描述长度充当复杂度项;新提出的 LoRA-GT 让所有层共用一个量化尺度,在五个护栏模型、四个基准的全部 40 个模型—数据集—损失组合中给出最紧证书。证书紧度更多随适配复杂度变化,而不是随基座模型规模变化。
深度剖析
安全判定器现在可以在训练所用的同一批数据上获得形式化的泛化保证,不必再切出一份带标签数据专门做验证。 此前的压缩型 PAC-Bayes 分析针对语言模型自身的生成风险,且多依赖为大规模预训练设计的专用可压缩参数化;基于验证集的界则只取决于留出误差和样本量,无法反映模型复杂度。 在 Llama Guard 3 的 1B 与 8B、Qwen3Guard 的 0.6B、4B 与 8B 共五个护栏模型和 Egida、OpenAI Moderation、Aegis、BeaverTails 四个基准上,0–1 损失与 Brier 损失都得到了非空泛证书,其中包括认证样本为 792 条的 Egida 和 1,344 条的 OpenAI Moderation,样本量明显小于此前的压缩型语言模型证书。
证书的紧度主要由适配器有多复杂决定,而不是由被适配的基座模型有多大决定。 标准 LoRA 适配器在每一个模型—数据集—损失组合上都给出空泛的界,即上界为 1。 描述长度从 LoRA、LoRA-XS、LoRA-TN、LoRA-TT 到 LoRA-GT 依次缩短,这一顺序与证书紧度顺序在大多数模型—数据集—损失组合中一致;LoRA-GT 在全部 40 个组合中证书最紧,例如在 BeaverTails 上其 0–1 测试风险比 LoRA 高 2 到 7 个百分点,证书却从 1 降到 0.169 至 0.226 之间。
把适配器压到更短能进一步收紧证书,但压缩带来的风险上升会抵消这一收益,平衡点取决于认证样本量。 压缩同时改变两件事:描述长度变短会减小复杂度惩罚,量化引入的功能失真会抬高经验风险。 在 0–1 损失下,LoRA-GT 的平均证书在 Egida 和 OpenAI Moderation 上以 2 比特最优,在样本更多的 Aegis 和 BeaverTails 上则以 4 比特最优。
启示与展望
证书针对的是认证数据所来自的那个由生成器诱导的部署分布,生成器、解码配置、系统提示或提示分布一旦改变就构成分布漂移,需要重新计算。评估只覆盖不超过 80 亿参数的护栏模型,这一规模对应低成本监督更大系统的场景。
在更大规模上,紧凑适配是否仍保持低的量化功能失真、是否仍能得到同样紧的保证,仍是待解的问题。压缩到更低比特时,证书在较小基准上变紧、在较大基准上反而变松,这一平衡随样本量移动。
