跳到主要内容
返回时间线
arXiv来源发表:

MedJev把医学图像问答改成一次打分:相对Qwen3.5-4B平均准确率升7.93%、端到端快6.04倍

核心概要

MedJev把医学图像理解从逐字生成答案改成一次前向打分:输入图像、问题和候选答案,模型直接给每个候选打分并取最高者,不再生成推理或答案文本。它保留全部视觉词元,只删去语言侧上层与词表投影,并用预训练查询—键匹配加零初始化残差头评分。以Qwen3.5-4B为底座,MedJev-4B在四个医学基准上平均准确率从61.13%升到69.06%,端到端延迟从685.03毫秒降到113.44毫秒。

AI-generated editorial illustration: MedJev: A System One Vision-Language Decision Model for Fast and Effective Medical Image Understanding

深度剖析

医学图像问答的答案不再需要逐字生成,模型对每个候选答案直接给出分数,预测必然是给定候选之一。 此前的视觉语言模型靠自回归生成推理与答案词元,推理成本随回答长度增长,答案还要从自由文本里解析,答不出候选即记为错误。 在四个覆盖皮肤镜、儿童胸片、多图临床病例和生物医学插图的基准上,MedJev-4B相对共享视觉编码器与连接器的Qwen3.5-4B平均准确率提高7.93个百分点,端到端延迟从685.03毫秒降到113.44毫秒。

提速来自缩短语言侧路径而不是丢弃视觉信息:视觉编码器、连接器和全部视觉词元都保留,只删去决策用不到的上层语言计算。 词元剪枝类方法通过丢弃视觉词元加速,可能删掉小病灶和细结构;层剪枝后的模型仍要逐词元生成答案。 MedJev-4B保留Qwen3.5-4B的前23层语言层,从第32层只留查询与键投影,参数从4.44B降到3.55B;消融中深度削减在两种评分头下都没有降低准确率,均值分别从68.31%升到68.70%、从68.93%升到69.06%。

候选分数由预训练查询—键匹配给出,再由一个轻量多层感知机补上残差修正。 仅靠预训练匹配可能不足以区分异质的医学图像与问题,而单独用多层感知机替换匹配只得到68.83%的均值。 残差头隐藏宽度256、输出层零初始化,只增加1.97M参数和约1.4毫秒,把均值提到69.06%;与20个4B–9B通用和医学视觉语言模型比较,MedJev-4B在平均准确率与速度上同时居首。

启示与展望

演示范围是四个医学图像理解基准上的固定候选选择,候选数从2到7,涵盖皮肤镜诊断、儿童胸片二分类、多图临床病例和生物医学插图问答;延迟在单张NVIDIA H20、批大小为1的条件下测量,包含图像读取与预处理。作者提出后续把工作扩展到更一般的视觉语言决策模型和复杂视觉感知任务。

四个基准中PneumoniaMNIST的1.44个百分点提升,其配对自助法区间跨过零,其余三个基准的提升区间不含零;候选顺序打乱后平均准确率从69.06%降到68.10%,自由文本选项的基准损失更大。作者把扩展到更一般场景列为未来工作。