跳到主要内容
返回时间线
arXiv来源发表:

文生图奖励模型换个配对轴:同图不同提示,GenEval 上最好-n 与强化学习分别提升 4.0% 和 5.5%

核心概要

文生图奖励模型既要判断图像是否符合提示,又要贴合人类审美,而常用模型在组合、空间与计数这类视觉推理上接近随机水平。斯坦福团队把视觉推理数据改造成共享同一张图、只更换提示的偏好对,与常规人类偏好数据混合训练,使视觉理解与偏好预测同时改善。在 GenEval 的组合提示上,该奖励模型用于推理时最好-n 选择与 DiffusionNFT 强化学习后训练时,分别平均提升 4.0% 和 5.5%。

Source-provided article image: Rethinking Visual Reasoning in Text-to-Image Reward Modeling
arXiv

深度剖析

奖励模型的训练数据不再只由同一提示下的两张图组成,而是加入同一张图配一条正确描述和一条错误描述的偏好对,让模型直接学习图像与文字是否对应。 常规偏好数据把提示符合度与画面美感纠缠在一起,两张图往往同时在风格、瑕疵和语义正确性上不同,模型可以靠审美捷径取得高偏好准确率。 在 ImageRewardDB 上,只用常规偏好对微调 Qwen3-2B 得到 66.3% 的偏好准确率,但平均视觉理解从基座的 85.4% 降到 78.4%;加入共享图像偏好对后偏好准确率仍为 66.3%,平均视觉理解回到 85.3%。

做法是把已有的视觉问答与多选数据改写成偏好对:图像固定,正确描述作为首选、扰动后的描述作为次选,再与人类偏好数据按比例混合训练。 这类共享图像的偏好对本身就是标准的 Bradley-Terry 比较,只是两个候选沿文本轴而非图像轴不同,因此沿用同一套损失和回归打分头,不需要额外的辅助目标。 最终混合数据共 157209 对,其中 ImageRewardDB 占 76.2%,其余来自 CLEVR、SpatialSense、TallyQA、ColorSwap 和 VSR;训练在 Qwen3-2B 的最后 9 层加一个线性打分头上进行三个 epoch。

更强的视觉理解转化为更好的生成引导,在需要精确渲染物体、属性、空间关系和数量的 GenEval 提示上,最好-n 选择与强化学习后训练都稳定受益。 在 SD-Turbo 上 n=50 时 GenEval 准确率为 64.5%,次优方法为 62.4%;在 FLUX.1-Schnell 上为 78.1%,次优为 75.7%。 用 DiffusionNFT 对 Stable Diffusion 3.5 Medium 和 SANA 做后训练时,该奖励模型在 GenEval 上分别平均提升 5.5%,而最好-n 设置下平均提升 4.0%。

启示与展望

结论建立在 Qwen3-2B 与 SmolVLM2-2.2B 两个视觉语言骨干、ImageRewardDB 偏好数据与表中所列视觉推理数据源的固定混合比例上,评估覆盖 GenEval、T2I-CompBench 与 MJ-Bench 对齐子集,以及最好-n 选择与 DiffusionNFT 后训练两种使用方式。

共享图像对与偏好数据的混合比例如何随偏好数据规模和骨干容量变化尚未刻画,当前比例反映各数据源的自然规模而非调好的配方;该监督是否适用于生成式奖励模型或成对奖励模型也尚未测试。