跳到主要内容
返回时间线
arXiv来源发表:

Wonder 4把专家路由到每个图像块:一张照片里的模糊、噪点和划痕各修各的

核心概要

真实照片常同时带有模糊、噪点、压缩块和划痕,而各类修复彼此冲突,现有统一模型只用一份全局描述概括整张图,无法说明每种修复该落在哪块区域。Wonder 4 在骨干网络的每个块里放入一组结构相同的小专家网络,由该块自己的路由器逐图像块挑选专家,并把语言模型常用的“专家等量使用”改为只给每个专家设最低使用份额。在 DIV2K 与 Flickr2K 的三个测试设置上,它对五种已发表方法和三种开放权重流程取得最好的 LPIPS、DISTS 和 NIQE,但 PSNR 并非最高。

Source-provided article image: Wonder 4: A Mixture-of-Experts Recipe for Image Quality Enhancement
arXiv

深度剖析

图像质量增强不再依赖对整张图的一份退化描述,而是让每个图像块各自决定用哪些修复专家。 此前的统一修复模型以全局退化描述为条件,无论该描述是推断出的编码、提示、视觉语言模型给出的文本还是任务标签,一份描述无法说明每种修复属于哪块区域,取得这份描述还需要第二个网络。 在 DIV2K 验证集(NTIRE 2018 混合退化与双三次下采样两种设置)和 Flickr2K 上,Wonder 4 对五种已发表方法和三种开放权重流程取得最好的 LPIPS、DISTS 和 NIQE;在 Flickr2K 上相对最强已发表基线,LPIPS 与 DISTS 的降幅最大。

路由器在每个块、每个图像块上单独做选择,因此同一张图的不同区域可以走不同的专家组合。 标准稀疏混合专家沿用语言模型的等量使用规则,会把每种修复都施加到所有地方,包括不需要它的区域,例如夜空中的星点会被当作物理损伤抹掉。 路由图显示早期块几乎全图使用同一专家,后期块开始跟随画面结构,例如某块中一个专家覆盖人物区域的大部分图像块而在天空只覆盖很小一部分;按块平均的图内路由互信息明显高于零,而忽略位置或每图只决策一次的路由器该值为零。

每个专家只被要求达到最低使用份额,而不是与其他专家等量。 等量使用规则下,只在少数图像块需要的专家也会被推到不该用的地方,所有专家最终学到同一种平均修复。 该偏置沿用 DeepSeek-V3 的无辅助损失负载均衡机制,只作用于选择分数、不进入概率,低于下限的专家被提高选择分数直到被选中,高于下限的专家不再改变;训练目标另加路由熵惩罚和专家权重余弦相似度惩罚,防止专家学到相同修复。

启示与展望

演示范围是 DIV2K 验证集在 NTIRE 2018 混合退化与双三次下采样两种设置下、以及 Flickr2K 上的超分辨率式评测,另加若干同时带多种缺陷的真实照片定性示例;训练未使用 DIV2K 或 Flickr2K 图像,而部分基线(如 Real-ESRGAN)的训练数据包含这两个数据集。

作者说明完整版报告将随后发布,因此当前可见的定量比较限于上述三个测试设置;此外 Wonder 4 的 PSNR 并非最高,作者将其解释为增加细节与 PSNR 之间的常见取舍。