跳到主要内容
返回时间线
arXiv来源发表:

黑盒生成模型也能打语义水印:只靠采样,十张图批量检测AUROC达0.998

核心概要

一种只通过采样访问生成模型、通过查询访问语义嵌入的语义水印方案,在密钥平均意义下不改变生成分布,因此不损害输出质量。它从同一提示的多个候选输出中按语义编码和密钥打分挑选一个返回,检测时聚合同一来源的多张图。在Stable Diffusion 2.1上,单图AUROC为0.802,十图批量升至0.998;对OpenAI闭源GPT Image接口,五图批量AUROC为0.978。

Source-provided article image: Distortion-Free Semantic Watermarks for Black-Box Generative Models
arXiv

深度剖析

水印不再需要接触扩散模型的初始噪声或隐空间,只把生成模型当作返回独立样本的黑盒,把语义嵌入当作把成品图映射为向量的黑盒,就能在密钥平均意义下保持原生成分布。 此前的语义水印要么依赖自回归逐词生成,要么依赖扩散模型特有的初始噪声控制与扩散反演,闭源图像接口不提供这些内部访问。 在Stable Diffusion 2.1与留出的COCO-2017提示上,单图AUROC为0.802,十图批量AUROC为0.998;仅用采样访问的GPT Image接口上,五图批量AUROC为0.978。

做法是在完整候选图之间做选择:对每个候选算语义编码,用随机超平面哈希把编码划入语义区域,再由密钥给每个区域一个伪随机分数,返回分数最高的候选。 哈希把同一语义区域的图映射到同一分数,因此只要编辑保持语义区域不变,检测分数就不变;边界感知检测器还会检查靠近超平面边界的邻近编码。 在1000个留出COCO-2017提示、Stable Diffusion 2.1上,固定密钥复用时匹配总体FID为4.75至5.22,低于Tree-Ring的5.61、Gaussian Shading的5.42和SEAL的6.88,同提示多样性保持在干净生成附近。

启示与展望

演示范围是Stable Diffusion 2.1加留出COCO-2017提示的图像生成,以及仅用采样访问的OpenAI GPT Image接口;检测以同一来源的多张输出批量聚合为主,单图检测另有单独报告。文本到音频只在AudioLDM 2加LAION-CLAP上做了一次演示。

失真无关性是对密钥平均后的单次输出成立,并不保证每个固定密钥都保持原分布;检测保证同样在密钥与随机超平面上取平均。单图检测存在黑盒采样固有的上限,真阳性率最多为假阳性率的若干倍。鲁棒性实验只覆盖非自适应的外观、压缩、几何与生成式编辑,未评估针对编码器或检测器的自适应攻击。