跳到主要内容
检索

# 视觉问答

8 篇关联报道

订阅更新
  1. arXiv

    阿里达摩院HoloCT把CT读片与三维分割合成一个模型,多中心阅片研究在敏感度与总准确率上超过四位放射科医生

    阿里达摩院推出三维CT基础模型HoloCT,把影像解读与体素级分割放进同一个视觉—语言模型,让文字结论能配上可核查的三维掩膜。此前的分割网络只勾画、不解释,CT视觉语言模型只出文字、不给定位。在五个医院11,455例临床CT上,HoloCT-8B在喉部病变与肺癌分割上把平均Dice较VoxTell分别从0.107提到0.488、从0.543提到0.715,并在甲状腺肿瘤与结肠病变回顾性阅片研究中于敏感度和总准确率上超过全部四位参与放射科医生。

  2. 多模态模型解释不再需要看内部:MultiSHAP把图文交互拆到图像块与词元对

    多模态模型能答题、能检索,但具体哪块图像与哪个词共同推高某个输出分数,此前难以量化。MultiSHAP用合作博弈论中的Shapley交互指数,在只能查询、不能读取参数或梯度的条件下,为每一对图像块与文本词元估计协同或抑制的二阶交互。在VQAv2的500个样本上,按该矩阵排序删除图像块使目标答案概率平均下降0.1720,而删除排名最低的图像块仅下降0.0032。

  3. arXiv

    驾驶视觉语言模型蒸馏不再逐词对齐:先挑出关键短语,再按教师说法是否可信分配监督

    自动驾驶视觉语言模型的知识蒸馏此前对所有答案词元一视同仁,既稀释了与规划相关的语义,也会把教师自信但错误的说法传给学生。RSKD 先从标准答案中定位交通参与者、状态、空间关系等关键短语,再用冻结的句子编码器比较教师在这些短语上的预测与标准答案的语义一致性,据此让一致性高的位置更多接受教师分布监督、一致性低的位置更多接受标准答案监督。在 DrivingVQA、LingoQA 和 MapLMv2 上,RSKD 分别取得 16.60、0.672 和 81.82,在两个问答基准上优于所比较的 SFT、GKD 与 ToDi 学生基线,在 MapLMv2 上与 SFT 的 81.85 基本持平。

  4. Fireworks AI

    Llama 3.2 上到 Fireworks:11B 与 90B 视觉模型按文本模型同价,图像按 6400 个文本 token 计

    Fireworks 宣布支持 Meta 的 Llama 3.2 系列,包括纯文本的 1B、3B 与多模态的 11B Vision、90B Vision,开发者可在其平台上做推理与微调。此前该平台没有这一代模型;现在 11B 与 90B 多模态模型定价与纯文本模型相同,图像按文本 token 计费,Llama 3.2 视觉模型的图像通常计为 6400 个文本 token。目前可微调的是 1B 与 3B 纯文本模型,多模态模型的微调尚未开放。

  5. arXiv

    ΔRepresentation 用反事实推理把病灶表型建模为相对正常解剖的表征增量,在六个医学 VLM 上同时提升病灶定位与表型识别

    该工作提出 ΔRepresentation,一个面向医学视觉语言模型的视觉表型表征学习框架:BaseAnatomy 用理想空间分布对正常解剖表征施加几何监督,Phenotype 通过反事实推理估计病灶块对应的正常解剖参考并学习表型特异的表征增量,使同一表型的增量在表征空间中聚集。在 ReXGroundingCT 与 LIDC-IDRI 上,该方法在六个预训练医学 VLM 上一致提升病灶定位与表型识别准确率。

  6. arXiv

    STAVE 用两个任务向量替换上下文示例,在六个多模态模型上以零样本推理成本超过逐层干预方法

    该工作提出 STAVE,用两个任务特定向量(一个更新答案生成 token 的读出向量、一个更新其余结构 token 组的上下文向量)加到冻结大模型或大视觉语言模型的输入嵌入上以替代上下文示例,二者用答案标签在有示例和无示例提示上训练;在六个 LMM 与五个 LLM 上,STAVE 以远少任务参数匹配或超过逐层干预方法,在 18 个文本任务上超过 15-shot ICL 与既有任务向量,且推理成本与零样本相同。

  7. arXiv

    CLIMB以置信度引导的互补证据池改进多模态RAG,在Encyclopedic-VQA与InfoSeek上稳定超越检索增强基线

    作者提出免训练、推理期的多模态RAG框架CLIMB:先用MMR式目标构建兼顾查询相关性与段落冗余度的紧凑互补证据池,再用R/E/C评论器按相关性、证据特异性与跨模态对齐打分,并由证据接地的置信度估计器仅在置信度上升时接受更新答案,从而提供简单停止准则;在Encyclopedic-VQA与InfoSeek上一致优于检索增强的多模态基线,消融显示互补池、评论器打分与迭代置信控制细化各有贡献。

  8. arXiv

    Multimodal Flow 用连续超块流匹配统一语言与视觉,MF-1 以 150B token 在 GenEval 得 0.821、DPG-Bench 得 83.44

    该工作提出 Multimodal Flow,把文本块与图像编码为有序连续超块,用共享的 chunk-causal Flow Matching 骨干在各自嵌入空间建模语言与视觉,并实例化为 MF-1:在 0.6B、1.2B、1.6B 规模上持续预训练稳定提升多模态建模,1.6B 模型仅用 150B 预训练 token 即在 GenEval 得 0.821、DPG-Bench 得 83.44,在 VQAv2、MMBench、POPE 上平均 75.3,并在匹配数据、优化与参数预算下优于代表性混合式与离散式模型。

已读完全部报道