ResVision给视觉推理智能体加两道约束:按图像频谱定采样尺度,放大局部时保留整幅工作视图
核心概要
ResVision 是一套免训练框架,在视觉语言模型做局部放大检查时补上两个环节:按图像自身的高频结构选择全局采样尺度,并在每次返回放大裁剪图时同时附上完整工作视图。在四个前沿视觉语言模型和 29 个基准上,完整配置(Agentic Base+SMR+CPI)对每个模型都是最优主配置,四模型平均 Macro-29 为 75.93,比 Direct Base 高 3.88 分、比 Agentic Base 高 2.28 分。
深度剖析
视觉推理智能体反复放大局部区域时,图像内容并没有增加,但答案会变;ResVision 把这一变化拆成两个可分别处理的环节,一是整幅图以什么尺度被采样成视觉 token,二是放大后的裁剪图是否仍与整幅场景一起呈现。 此前的做法多按图像几何尺寸、固定分辨率策略或 token 化之后的重要性来决定视觉 token 分配,而尺寸相近的平滑照片、密集图表和细纹理对采样密度的需求并不相同。 在四个视觉语言模型和 29 个基准上,完整 ResVision 对每个模型都优于 Direct 与 Agentic 基线:相对 Direct Base 提升 3.36–4.94 分,相对 Agentic Base 提升 1.87–2.94 分,四模型平均 Macro-29 从 72.05 和 73.65 升到 75.93。
两个组件作用在证据路径的不同位置:一个在 token 化之前决定整幅图的工作尺度,另一个在每轮工具调用返回时把局部细节和整幅参考放在同一次输入里。 频谱匹配缩放(SMR)先估计图像的高频需求,再在视觉 token 预算内选出能把代表性空间频率送进编码器可用频带的最小全局尺度。 上下文保留检查(CPI)把每张放大裁剪图与同一张完整工作视图作为分开标注的图像输入一起返回;在 50 张 BabyVision 图像上,联合呈现的定位准确率在各测试尺度上保持 72%,而孤立裁剪在相应尺度下为 40–58%。
两个组件各自有效,合起来更强,说明自适应采样与上下文保留针对的是不同约束。 在智能体推理中,单独加入 CPI 可在无 SMR 时把 Agentic Base 提高 1.10–1.97 分;单独加入 SMR 与单独加入 CPI 的平均分分别为 75.10 和 75.07。 完整 ResVision 达到 75.93,在每个模型上都比更强的单组件变体高 0.40–0.94 分。
启示与展望
结论建立在四个前沿视觉语言模型(Kimi-K3、Qwen3.8-Flash-Next、GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017)与 29 个基准的评测上,智能体配置共用四次工具调用上限,每次设置三次独立运行。收益并不均匀:相对 Agentic Base,数学与逻辑族提升 4.59–8.34 分、幻觉与计数族提升 2.08–6.19 分,而通用视觉族基本持平。
固定 token 预算的对照显示准确率随预算非单调变化,两个被测模型上最强的固定目标都是 2048 个视觉 token,自适应 SMR 相对它分别再高 3.31 分(Kimi-K3)和 3.36 分(Qwen3.8)。推理强度是配置扫描中影响最大的因素,从 Low 到 Max 在 Kimi-K3 上提高 22.68 分、在 Qwen3.8 上提高 8.68 分;温度带来的差异最多 3.01 分,把生成上限提高到 32K 以上并未稳定提升准确率。
