专业图像质量评估不再只给一个分数:NTIRE 2026 RAIM 第一赛道要求多模态模型选出更好的一张并说出理由
核心概要
NTIRE 2026 第三届 RAIM 挑战赛第一赛道把专业图像质量评估从标量打分改成成对比较:参赛模型要在同一场景、不同设备拍摄的高质量图像对中选出视觉更优的一张,并给出专家级文字理由。赛道提供 100 对带专家标注的训练图像对,验证集 102 对、测试集 101 对,人物与风景分别计数,测试主体不出现在训练中。最终排名由比较准确率与推理质量合成,冠军 IH-VQA 的最终奖分是 0.7305。
深度剖析
专业图像质量评估的评测对象从单张图像的标量分数,变成一对高质量图像中哪一张更好,以及为什么更好。 此前的常规做法把复杂的视觉特征回归成一个平均意见分数,在整体质量都很高的图像之间难以区分细微差别,也无法说明一张图为何优于另一张。 赛道用同一场景、不同相机或手机拍摄的图像对构建数据,由专业影像效果设计师以二选一选择题形式标出更优图像,并附上文字理由和突出主体的局部裁剪。
参赛系统要在给出选择的同时生成与专家判断对齐的解释,评测因此分成比较准确率和推理质量两条线。 推理质量只在模型选对的样本上计算 BLEU-4 与 ROUGE-L 的组合分,避免为错误选择编造理由而得分;另设一个独立的大模型评审对语义对齐打分。 第二阶段分数按乘法融合,即准确率乘以 0.7 加 0.3 倍文本推理分之和,第三阶段在此基础上加 0.5 倍大模型评审分,最终排名取两阶段各占一半;第二阶段榜首 IH-VQA 准确率 0.9118、条件文本分 0.2050。
决赛阶段各队普遍采用多模态大模型微调,并以 GRPO 强化学习和投票集成作为主要手段。 第二阶段有 85 名参与者提交 2530 次,第三阶段有 57 支队伍按单次提交规则进入最终评测。 第三阶段按分数排名第一的是 VCIP Pi Group,得分 0.7679,其大模型评审分 0.5535、准确率 0.6733;IH-VQA 的第三阶段得分为 0.7667,准确率 0.7129。
启示与展望
这一赛道评测的是同一场景、不同设备拍摄的高质量图像对上的二选一判断与文字理由,训练集 100 对、验证集 102 对、测试集 101 对,人物与风景分别计数;结论限于该数据划分与单次提交的决赛设置。
报告指出,模型普遍能完成二选一,但生成与专家标注的摄影维度对齐的高质量理由仍是明显难点;在不同图像内容和拍摄条件下如何评估这些理由也仍是开放问题,因为合适的评判标准会随图像内容与伪影类型变化。
