扩散模型水印改用蛛网图案:九种变换里八种固定阈值准确率最高,干净图仍让给Tree-Ring
核心概要
扩散模型生成的图像要能追溯来源,但现有水印多把能量按半径均匀铺开,遇到方向性失真容易失效,检测阈值也随变换漂移。SpiderMark把带辐条和同心多边形的蛛网图案写进初始噪声的傅里叶表示,不改动预训练权重,再用融合PSNR与L1相似度线索的ResNet-18验证器输出连续置信度。在九种图像变换下,它在其中八种取得最高的固定阈值准确率,干净图像上Tree-Ring更高;换到未参与训练的COCO提示词仍保持检测,CLIP与FID显示提示对齐和图像质量只有小幅变化。
深度剖析
水印不再只按半径铺能量,而是带上方向信息,检测也从手工阈值改为学习得到的连续置信度。 此前的扩散模型水印多用同心环、均匀网格或随机掩码这类各向同性结构,能量随半径均匀分布,对运动模糊、各向异性重采样这类偏向特定方向的失真更脆弱;检测端则依赖频域相关或距离阈值,最优阈值随JPEG压缩、几何形变、裁剪等变换明显漂移。 在Stable Diffusion 2.1上按九种条件评测,SpiderMark在八种条件下固定阈值准确率最高,干净图像上Tree-Ring以0.9759对0.9467领先;这些是观测到的检测差异,不是逐攻击的显著性结论。
做法是在生成开始前改初始噪声的频谱,而不是改模型本身。 蛛网图案由等间距的径向辐条和多边形环连接构成,作为零均值、单位方差的载波,只在预先划定的频域支撑内与原始频谱混合,支撑之外的系数保持不变,因此无需重训生成器。 验证器以ImageNet预训练的ResNet-18为骨干,输入经二维FFT得到的幅度谱,并拼接与已知图案比对得到的PSNR和L1两个标量线索;训练集是同一提示词与噪声种子下成对的500张加水印和500张干净图像,按85%/15%划分。
检测端的学习成分可以单独衡量,注入图案保持不变时,学习验证器明显优于手工相关检测。 在固定蛛网图案与支撑的受控重训协议下,完整验证器取得72.86%宏平均准确率,仅用频谱特征的ResNet-18为67.88%,经典相关检测为47.33%。 PSNR与L1线索合计带来4.98个百分点的提升,这一比较衡量的是两者的联合贡献,而非各自单独的效应;该协议使用150张验证图像、九种条件和五次带种子的评测运行,绝对分数不与主表直接可比。
启示与展望
评测集中在Stable Diffusion 2.1 Base上生成的图像,覆盖干净、强JPEG、消息应用式重采样压缩、降采样再升采样、高斯模糊、随机裁剪、遮挡、几何形变与混合增强九种条件,验证依赖与生成时相同配置的扩散模型做确定性DDIM反演。跨数据集结论限于未参与训练的COCO提示词,跨架构结论限于SDXL上重训轻量验证器后的结果。作者提出可用复合失真做数据增强作为延伸方向。
作者明确说明该方法是来源核验而非密码学认证:当前只做水印存在与否的二值判断,不编码模型版本或发布者标识,也不提供不可否认性。在已知支撑的移除实验中,完全抑制把水印图像漏检率推到97.47%,但SSIM降到0.053、FID从83.14升到261.68;保留直流分量的变体在较强噪声下仍有79张中的75张被检出。伪造、密钥泄露、多图串谋与完全自适应攻击未被现有实验覆盖。
