跳到主要内容
返回时间线
arXiv来源发表:

ViRA把奖励从单张图挪到对照集:最大分辨率下集合准确率63.3%,高于GRPO的59.3%

核心概要

超高清照片里的关键细节往往只有几十像素宽,视觉智能体即使会放大,也常凭常识作答而不读证据。ViRA用CrossRPO在对照集上训练:同一问题配几张只在小区域不同、答案也不同的图,只有读证据才能答对整组。在21至120兆像素照片构建的ViRA-Bench上,最大分辨率下集合准确率为63.3%,逐版本训练的GRPO为59.3%,合并成一组采样的GRPO为52.6%。

Source-provided article image: ViRA: Toward Ultra-High-Resolution Visual Agents via Cross-Input Relative Policy Optimization
arXiv

深度剖析

训练信号从单张图的最终答案改成整组对照集的答案,使“猜对”不再与“读对”拿到同样的奖励。 此前在单张图上做强化学习时,一次猜测与一次真正读取证据得到相同奖励,猜测还更省事,于是成为奖励无法识别的捷径。 在ViRA-Bench最大分辨率上,CrossRPO的集合准确率为63.3%,逐版本分别训练的GRPO为59.3%,把整组混在一起采样的GRPO为52.6%。

做法是让每个版本的采样只与同一版本的采样比较,再用其他版本答对的比例给这个版本加权。 这个权重就是CrossRPO与逐版本RLOO的差别:其他版本答对得越多,本版本的正确回答越能解开整组,获得的信用越大。 去掉该权重、退化为逐版本RLOO后,ViRA-Bench集合准确率在每个预算下都下降4.6至7.4个百分点;把权重换成来自其他问题的随机图片后,结果与逐版本RLOO接近。

ViRA-9B与ViRA-27B分别从Qwen3.5-9B和Qwen3.8-27B出发,各用约3500条训练项训练一轮。 训练数据由ViRA-Train中经筛选的对照集与单图混合而成,ViRA-9B用3642项、ViRA-27B用3401项。 ViRA-9B在十个基准中的十个、ViRA-27B在十个中的九个上,是同尺寸开源模型里最准确的;ViRA-27B在ViRA-Bench每个分辨率上都超过所测的专有模型。

启示与展望

演示范围是21至120兆像素照片上构建的对照集,以及用Nikon Z8实拍的78组无编辑对照集;ViRA-9B与ViRA-27B分别从Qwen3.5-9B和Qwen3.8-27B训练,训练各约3500项、一轮。读者若要判断方法是否适用于其他架构或其他科学图像,应关注作者提出的后续方向:更大规模、包含户外场景与更多物体种类的实拍基准,以及更大规模的文本实验。

ViRA-Bench与ViRA-Train由图像编辑生成,被编辑物体内部的痕迹可能影响答案;首次放大在编辑版与原版上覆盖物体的比例相差不超过2.4个百分点,但该检验不覆盖读取环节。ViRA-Bench-Real只有78组,在室内用一台相机拍摄,多为海报、标牌、贴纸和标签。图像对照集最多三个版本,更大集合只在文本上测试,且文本实验规模较小。奖励只含正确性,不鼓励更紧的框或更多次放大。