跳到主要内容
返回时间线
arXiv来源发表:

通用视觉语言模型不必为医学图像重训:VERA 视觉挂具让脾脏测量从 63.3% 升到 98.3%

核心概要

VERA 是一套面向通用视觉语言模型的医学视觉挂具,在推理阶段提供可交互的看图工具、无损证据记忆和证据核查,让模型反复检查图像并修正答案。在 11 项任务、四种成像模态上,主干的 Qwen3.8-27B 全部任务都有提升,脾脏测量从 63.3% 升到 98.3%,肺结节检测从 0.0% 升到 28.2%。能力更强的 API 模型配上 VERA 后提升更大,GPT-6.1 Sol 的肺结节检测从 10.8% 升到 69.2%。

Source-provided article image: Visual Harness Scales General VLMs to Medical Images
arXiv

深度剖析

通用视觉语言模型在医学图像上表现偏弱,VERA 不改动模型权重,只在推理时给它一套看图与核查证据的流程,就能把同一模型的成绩整体抬上去。 此前的做法主要分两路:一路用医学数据继续预训练或微调出专用医学视觉语言模型,另一路用智能体框架做工具调用;两路都强调领域专门化。 在 Qwen3.8-27B 主干上,VERA 在 11 项任务上全部优于直接输入图像,并在 10 项任务上达到或并列智能体基线的最好成绩;直接输入时肺结节检测为 0.0%,VERA 为 28.2%。

VERA 把一次读片拆成探索、作答、核查、再检查的循环,模型先自己看图并给出初步答案,再根据覆盖情况和证据可靠性决定是否继续看。 常规工具调用循环里,模型自己决定何时结束,而结束并不等于图像已被充分检查、所见病灶已被可靠确认。 循环最多进行三轮核查,终止条件是剩余可能漏检的病灶估计落入容差且没有候选仍处于未定状态;在 11 项任务、CT、MRI、超声与全切片病理四种模态上做了评测。

VERA 由五个部件组成:医学视觉工具负责导航、放大、多平面查看和定量测量,无损证据记忆把看过的图像与测量结果原样留存,证据图估计各区域还可能漏掉多少病灶,证据核查器为候选病灶维护可信度,证据引导的智能体循环把核查反馈接回下一轮检查。 只记录“看过/没看过”的二值覆盖不足以描述检查进度,因为同一区域在不同分辨率下能看到的细节不同。 消融显示去掉证据核查器后脾脏测量从 98.3% 降到 70.0%,去掉证据图后肺结节检测从 28.2% 降到 14.1%,两者都去掉时 11 项任务全部下降。

启示与展望

评测限定在公开数据集上,覆盖 CT、MRI、超声与全切片病理四种模态的 11 项任务,包括测量、定位加测量、检测与诊断四类;所有结果均为离线基准成绩,未在真实临床环境中验证。

四个 API 模型在肺结节检测、脑肿瘤 MRI 与超声心动图三项上因接口成本只用了缩小的子集,跨主干比较的范围因此受限;公开数据集与专有模型训练数据之间可能存在重叠,无法排除;VERA 的表现仍取决于主干模型读医学图像和执行工具调用的可靠性。