冻结模型在部署中积累外部专长:六个基准上医学任务在线提升最高34.2%,并零步迁移到其他模型
核心概要
该工作提出一个模型无关框架,让冻结的LLM与VLM在部署过程中通过三种外部专长持续学习:指导推理与工具使用的Skill、存储可靠事实的Knowledge Memory,以及保留视觉案例并引导模型将检索案例与当前图像对比的Multimodal Knowledge Base;更新只在有助于新案例且不损害旧案例时才被保留。在六个基准、四个基座模型上,该框架在线部署中医学任务相对基座提升最高34.2%,可泛化到未见案例,并无需再优化即可迁移到其他模型。
深度剖析
框架让冻结模型在部署中持续改进,且不需要访问模型权重,因此同时适用于开放权重与闭源模型。 与依赖微调或强化学习更新参数的方法相比,该框架把经验转化为模型外部的可复用专长;与EvoSkill、SkillOpt等无参数方法相比,它不依赖固定验证集选择更新。 在六个基准、四个基座模型(Qwen3.8-27B、Nemotron-3-Nano-Omni-30B、GPT-5.6-Sol、GPT-4o-mini)上,24个基准–模型组合全部高于Base,其中22个取得最佳分数,平均增益17.6%,而ACE为5.6%。
验证策略是增益的必要条件:每个候选更新需在新案例上提升且不使过去案例平均下降才被接受。 该策略替代了在固定验证集上反复选择更新的做法,并周期性将当前版本与保留的早期版本比较,必要时回退。 消融中,接受全部更新而不验证会使六个基准相对完整框架下降21.8%至37.8%,且每个分数都低于Base;在五种随机案例顺序下,AgentClinic与QCalEval的平均增益分别为5.7%和16.5%,均至少为最大标准差的五倍。
MMKB保留图像、源答案与可用解释,并引导模型分析每个检索案例与当前图像的关系,而不只是把检索内容作为上下文。 与仅以文本保存经验的方法以及只提供检索内容的多模态检索系统相比,MMKB显式要求模型比较观察与条件、考虑差异、缺失证据与矛盾。 在检索参考完全相同的情况下,标准多模态检索相对Base变化为负,而MMKB在四个图像任务上全部提升,MedChain任务3最高提升23.9%;移除MMKB使QCalEval下降14.0%、VisuLogic下降8.2%,两者回到Base水平。
学到的专长可冻结后泛化到未见案例,并可零步迁移到其他模型。 专长保存在模型之外,因此更换或升级基座模型时无需重新学习。 冻结评估中,Ours在24对中21对高于Base、19对最佳,平均增益20.7%(SkillOpt为8.3%,ACE为1.9%);跨模型迁移在36个结果中33个提升,平均增益20.0%,包括用开放权重Qwen3.8-27B学到的专长使闭源GPT-5.6-Sol在AgentClinic提升11.8%、QCalEval提升23.2%。
启示与展望
该框架面向部署中可获取源答案或参考报告的流式场景:案例先作答,批次结束后其源答案与分数才释放,反馈只能影响后续批次。它适用于希望在不访问权重的前提下改进闭源或开放权重模型的团队,也适用于需要复用诊断流程、可靠医学事实与视觉模式的临床与多模态任务。专长保存在模型外部,因此更换基座模型时可直接沿用;在非医学视觉推理任务上同样观察到提升。
读者仍需关注若干开放问题:在线增益依赖案例顺序与批次划分,虽然五种随机顺序的重复显示增益稳定,但匹配随机种子并不保证模型响应完全确定;MedChain的实现严格遵循顺序工作流,每个任务只接收前序任务的模型输出,因此其分数与原始论文表格中的结果不可直接比较;QCalEval的初始参考并非统一由专家撰写的问答对,其中12条源数据参考与1条图参考来自同一项研究;此外,本材料为全文解析,图与部分表格内容未逐项呈现,若需核对具体数值细节,应回到原文图表。
