同一张低清图,细节多少由你定:DetailScale-SR 用一个标量连续调节重建纹理
核心概要
真实场景图像超分辨率通常只给出一个固定细节程度的复原结果,而同一张退化图像在不同场景下需要的细节量并不相同。DetailScale-SR 把通用复原能力与用户指定的细节偏好拆开:先训练一个共享的复原通路,再冻结它、只学习把标量细节值映射为注意力条件的模块,从而在同一低清输入和同一语义约束下连续调节纹理表达。在 RealSR 与 DRealSR 上,单一检查点随细节值从保守复原走向细节合成,PSNR 与 SSIM 单调下降、MUSIQ 与 MANIQA 上升,最保守设置取得最高 PSNR 与 SSIM。
深度剖析
真实场景超分辨率现在可以在同一张低清输入上连续选择细节量,从克制的复原到纹理丰富的合成,而场景内容、空间布局和可读文字保持不变。 此前的生成式超分辨率方法大多只输出一个固定的复原结果,隐含假设不同图像和不同用户需要同样的细节偏好;已有的可控方法中,控制变量往往同时影响去退化、纹理强度、结构保真度和对提示的语义响应,难以单独解释为细节量偏好。 在 RealSR 与 DRealSR 两个基准上,同一个检查点只改变细节值与引导强度,在 RealSR 上细节值取 0 时 PSNR 为 26.52、SSIM 为 0.7725,取 1 时 PSNR 为 25.48、SSIM 为 0.7300;按 PSNR、SSIM、LPIPS、DISTS、FID 五项指标的平均排名,该方法在两个基准上都排第一。
细节控制由一个轻量的条件模块完成,它把标量细节值转成注意力层里的额外键值令牌,而不改动已经训练好的复原模型。 做法分两阶段:第一阶段在 Qwen-Image 2.1 图像编辑骨干上训练秩为 64 的 LoRA 适配器建立共享复原能力;第二阶段冻结骨干与适配器,只训练 Scale Template,把标量经正弦嵌入映射为各 transformer 块专属的键值令牌并追加到原注意力键值上。 训练目标用相对全变分滤波构造低细节端点,再与原始高清图按细节值插值出连续监督目标,而低清条件始终由原图生成、与细节值无关;消融中把两阶段改为联合训练后,PSNR 从 25.48 降到 23.50、SSIM 从 0.7300 降到 0.6605、FID 从 88.40 升到 102.77。
可选的尺度感知细节引导把学到的细节方向外推,使输出纹理比配对的高清参考更丰富,把可控范围延伸到常规复原之外。 该引导沿用无分类器引导的形式,但两个分支只在细节条件上不同,低清观测、文本指令和潜变量状态保持一致,因此分离出的是细节尺度带来的变化,而不是额外的语义方向。 在 RealSR 与 DRealSR 上,细节值从 0 扫到 1 时 PSNR 与 SSIM 单调下降、MUSIQ 与 MANIQA 上升,FID 在较大细节值处达到最小;LPIPS 在中间尺度最好,RealSR 上为 0.2215,DRealSR 上表 2 的 DRealSR 各行中最小值为 0.2715。
启示与展望
演示范围是 RealSR 与 DRealSR 两个真实场景超分辨率基准,以及自然纹理、细结构与中文文字密集场景的定性对比;模型基于 Qwen-Image 2.1 构建,第一阶段在 4 万张 LSDIR 图像和 2000 张文字丰富样本上训练。文字复原依赖可选的文本提示,RGBA 分层超分辨率依托骨干的四通道生成能力。
细节值增大时 PSNR 与 SSIM 单调下降,保真度与细节表达之间存在此消彼长;无参考指标未计入排名,因为其衡量的是感知质量而非与参考图的一致程度。文字复原在重度退化下需要提示提供文本内容,仅凭低清观测无法精确恢复部分字符。
