跳到主要内容
返回时间线
arXiv来源发表:

扩散模型记住的区域不必再靠对照找:JaRS用雅可比行和,无参考提示也能定位

核心概要

扩散模型有时会复现训练图像中的局部区域,此前的定位方法取去噪器雅可比的对角线,但平滑区域的对角线同样很小,必须再减一张参考图才能区分,而无条件模型没有空提示、早期检查点也常不公开。JaRS改为取雅可比的行和:局部平均时行和接近1,记忆区域则趋近0,因此不需要任何参考评估;配合早期去噪步的图像级检测构成JaRS+,在Stable Diffusion v1.4、v2.1、Realistic Vision v5.1和无条件DiT-B/2的十项设置中有七项取得最高定位mIoU。

Source-provided article image: JaRS: Contrast-Free Localization of Memorized Regions in Diffusion Models via Jacobian Row Sums
arXiv

深度剖析

定位扩散模型复现的训练图像区域,现在可以只靠目标模型本身完成,不再需要空提示或更早的训练检查点作为参照。 此前的做法取去噪器雅可比的对角线,再减去一张参考图来抵消平滑区域带来的响应;无条件模型没有空提示,开发者通常也不发布中间检查点。 在Stable Diffusion v1.4、v2.1、Realistic Vision v5.1和无条件DiT-B/2上,按同一平衡评测协议,JaRS+在十项设置中有七项取得最高定位mIoU,在Stable Diffusion上最多提升若干mIoU点,在无条件DiT上从0.666提升到0.869。

区分记忆与局部平均的依据是雅可比每一行的权重总和,而不是单个对角元素。 平滑区域里去噪器对邻域像素取平均,对角线随邻域增大而缩小,与记忆区域的对角线难以区分;但取平均时整行权重之和仍为1,记忆时整行权重一起消失。 在DiT-B/2上显式计算完整雅可比,非记忆样本的行和中位数接近1,水印区域的行和明显下降,整图近复制降到接近0,行和能把水印像素与非记忆像素分开;在SD v1.4上,非记忆图像与模板外区域的行和中位数接近1,模板内、匹配逐字复制与检索式逐字复制区域则明显下降。

JaRS+先用早期去噪步的图像级分数判断一张图是否含记忆内容,再在中间噪声步输出像素级定位图。 若对所有图像直接套用单一像素阈值,普通图像中高度可预测的背景也会产生假阳性掩码。 在Stable Diffusion上,检测分数在采样早期即可给出,而对照方法要跑完整条生成轨迹;在SD v1.4上,模板逐字复制提示的检测AUC为1.000。

启示与展望

评测覆盖Stable Diffusion v1.4、v2.1、Realistic Vision v5.1三个文本到图像模型,以及一个在FFHQ上训练、人为植入水印和近复制样本的无条件DiT-B/2;定位精度在开发集选定的中间噪声步上报告,检测阈值与步数也在开发集上选定。

在Realistic Vision上JaRS+落后于对照方法,All设置mIoU为0.849,而对照为0.951;差距来自第一阶段阈值而非定位图,用理想图像级门控时同一批图可达0.945。在SD v1.4的提示级检测中,JaRS+的AUC为0.946,低于分数对照的0.969,差距来自只在部分随机种子下复制的检索式逐字复制提示,以及四个种子下都不产生复制的候选提示。方法在中间噪声步评估去噪器,扩展到单步蒸馏生成器留待后续工作。