跳到主要内容
返回时间线
arXiv来源发表:

两张图叠成一张也能拆开:免训练扩散采样同时还原两幅源图与混合权重

核心概要

图像去混合要把一张合成图拆回两幅源图,单张观测对应多种合理分解,本身是病态问题。此前免训练的扩散后验采样只处理单输出重建,监督方法又依赖特定域训练且多假设混合系数空间恒定。该工作把去混合写成联合逆问题,用同一个预训练扩散先验并行去噪两幅源图,并以文本提示约束解空间、二阶多项式参数化平滑的 alpha 图,在未见域上取得最优 PSNR、SSIM 与 LPIPS,在已知标量混合基准上与监督基线相当。

AI-generated editorial illustration: Image Deblending with Diffusion Models

深度剖析

一张由两幅图按 alpha 图逐像素加权叠成的合成图,现在可以在没有任务专用训练的情况下被拆回两幅源图,并同时给出混合权重。 此前的免训练扩散后验采样方法面向单输出逆问题,一次只重建一幅未知图像;监督式分解方法需要针对具体域训练,且多数假定混合系数在空间上恒定。 在已知标量混合设置下,LCD 在 Animals 域为 23.06 dB PSNR,换到未参与训练的 Vehicles 域降到 17.21 dB,DAD 从 17.42 dB 降到 11.09 dB,而该方法从 21.36 dB 变为 20.23 dB。

两幅源图由同一个预训练扩散模型并行去噪,彼此只通过混合方程的数据一致性项耦合。 联合条件分数被分解为各自独立的先验分数与一个共享的似然梯度,似然梯度由 Tweedie 公式从含噪样本估计干净图像后对混合残差反传得到,因此不需要一个同时接收两幅图的网络。 流程分两段:潜空间阶段用 Stable Diffusion v1.4 配合交叉负向提示做语义分离,像素空间阶段用 ImageNet 上训练的无条件 DDPM 恢复细节;在 BIDeN 基准的 Fruits 与 Animals 各 300 对测试图像以及 Vehicles、Flowers 各 100 对上评估。

混合权重不再逐像素自由取值,而被约束为二阶多项式,以避免 alpha 图抢走图像边缘。 逐像素 alpha 图的初步实验出现一种失败模式:优化把高频边缘内容分配给 alpha 图,而恢复出的源图保持模糊。 多项式把参数空间从逐像素数量降到 9 个系数,可表示空间恒定、线性渐变和径向混合;四个角点的值被约束在 0 到 1 之间,但内部像素没有严格界。

启示与展望

演示范围是两层 alpha 混合的盲分解,评估覆盖 BIDeN 基准的 Fruits 与 Animals 各 300 对测试图像,以及未参与训练的 Vehicles 与 Flowers 各 100 对;方法面向离线使用,生成三个第一阶段候选并精修选中者每次分解耗时 50.6 至 71.0 分钟,不含选择器开销。

文本引导使主比较与不使用提示的基线并非严格信息对等;PickScore 为文生图偏好训练,是去混合质量的不完美代理;多项式 alpha 参数化偏好平滑混合图,空间变化基准本身取自同一二次族,族外平滑遮罩下性能逐渐下降;当前公式只支持两层源图。