跳到主要内容
返回时间线
arXiv来源发表:

开源大模型水印换用私有词表:只在Alpaca注入一次,下游微调后固定触发率仍为100%

核心概要

开源大模型权重公开后,第三方微调会改写参数与内部表示,使依赖特定触发词或参数痕迹的水印失效。SAME 为每个原生词元配一个固定私有嵌入,并用双路径训练让私有词表继承原生语义,从而把水印绑定到模型不断演化的语义能力上。在 Qwen3-8B-Instruct 上只用 Alpaca 注入一次,独立微调到 SST-2、AG News、MMLU、BoolQ 等任务后固定触发率均为100%,而 BadEdit 在 MMLU 上降到10.87%。

Source-provided article image: SAME: Semantic Watermark Embedding for Open-Source Large Pretrained Models
arXiv

深度剖析

开源大模型的所有权水印现在可以只注入一次,再随下游微调迁移到分类与生成任务上,而不必为每个任务重新设计触发词。 此前的触发—响应水印把触发词绑定到特定任务数据,跨下游格式迁移差,且在后继良性微调中会被逐步覆盖;参数空间水印则依赖会被微调改动的参数与内部表示。 在 Qwen3-8B-Instruct 上,SAME 仅用 Alpaca 注入,随后在各目标数据集上做原生路径微调,固定验证在 SST-2、AG News、MMLU、BoolQ 上触发率均为100%;作为对照,用对应下游数据注入的 BadEdit 在 MMLU 上为10.87%,VPI 在 AdvBench 上为47.50%。

水印的载体是一套与原生词表逐词元对应的私有词表,模型学会把私有嵌入当作与原生词同义的输入来读。 私有嵌入独立初始化后在整个注入阶段保持固定,只有模型参数被更新,因此同一套私有编码在训练样本之间保持一致。 训练时同一输入分别用原生嵌入和私有嵌入送入同一模型,两条路径各自计算自回归交叉熵损失;在 Alpaca 的5.2万条指令—响应对上训练10轮,留出500条用于评估。

除预定义触发—响应外,同一套私有词表还能拼成面向下游任务格式的新查询,用回答与原生回答的语义相似度来验证所有权。 固定验证沿用传统触发—响应范式,语义验证则不依赖预定义响应,可在不重新设计水印的情况下适配不同任务格式。 语义验证在 SST-2 上为68.17%准确率,在 Dolly-15K 上 BERTScore-F1 为85.61,在 Alpaca 上为89.83,均使用同一套私有词表。

启示与展望

验证需要访问可疑模型的输入嵌入接口,以便送入私有编码的输入;实验以 Qwen3-8B-Instruct 为主模型,并在 LLaMA3.2、Qwen3、Mistral、GPT-OSS 等模型家族与规模上评估,涵盖稠密与混合专家架构,另有一个多模态设置。

私有词表的初始化幅度靠经验选取,尚无与原生嵌入尺度挂钩的规则;MoE 与其他模型家族需要针对模型调参才能获得有效的私有词表对齐。作者还指出,私有词表可能暴露原生接口之外的行为,且对自适应恢复或提取类攻击的安全性尚未建立。