跳到主要内容
返回时间线
arXiv来源发表:

医疗大模型微调不再牺牲患者安全:S-BDS 在 PatientSafetyBench 上把安全率提高 4.64 个百分点

核心概要

面向患者的医疗大模型通常靠大规模医疗指令数据做监督微调来获得领域知识,但这一过程会削弱模型原有的安全对齐。S-BDS 在双层数据选择的上层目标中加入熵正则,抑制选择权重过度集中,使大规模候选池中的样本排序更可靠,并以经临床医生审核的安全数据作为上层信号。在 Llama-3.1-8B-Instruct 与 Qwen3-8B-Instruct 上,S-BDS 的 PatientSafetyBench 安全率均为对比方法中最高,分别比最强基线 SEAL 高 4.64 和 3.00 个百分点,同时 HealthBench 医疗能力得分保持有竞争力。

深度剖析

医疗指令微调可以在扩充安全数据的同时不依赖逐条临床审核:S-BDS 用少量经临床医生确认的安全样本引导,从大规模候选池中挑出既提升医疗能力又控制患者风险的训练样本。 此前的患者安全评测主要停留在诊断层面,能识别已训练模型的不安全行为,却不提供在通用大模型接受医疗监督微调时保住患者安全的机制;已有的双层选择方法 SEAL 也未显式控制选择权重的集中程度。 在 Llama-3.1-8B-Instruct 与 Qwen3-8B-Instruct 上,S-BDS 的 PatientSafetyBench 安全率分别为 69.31% 和 85.62%,高于最强基线 SEAL 的 64.67% 和 82.62%,即分别高出 4.64 和 3.00 个百分点。

方法把数据选择写成一个上下两层的问题:下层用候选医疗数据微调模型,上层则奖励那些能保住患者安全监督表现的样本权重。 直接求解需要对下层优化做微分,S-BDS 改用下层最优性间隙的松弛,并在上层目标中加入熵正则,让归一化后的选择权重分布不至于塌缩到少数样本上。 在 Orca 设置下,原始 SEAL 选择器把 Llama3.1 候选样本前 5% 的权重累计到 42.15%,前 20% 累计到 64.16%;S-BDS 将这两个值降到 13.48% 和 36.61%,并把归一化有效样本量从 20.62% 提高到 78.25%。

最终微调把经临床医生审核的安全数据与选择出的样本合并为安全导向数据集,再与未经筛查的医疗任务数据按权重混合。 过度偏重安全数据可能带来过度拒答或能力损失,而单纯任务微调又会削弱已有安全对齐,因此需要同时保留两类监督。 在固定训练预算下改变安全数据权重,权重从 0 增至 0.5 时两个模型的 Health Score 与 PSB 安全率同时上升;超过 0.5 后安全率继续上升而 Health Score 下降。

启示与展望

实验限定在英文、单轮、面向患者的医疗问答,微调数据来自 HealthCareMagic-100k,基座为 Llama-3.1-8B-Instruct 与 Qwen3-8B-Instruct,采用 LoRA 监督微调;安全评测使用 PatientSafetyBench 的 466 条单轮患者提问,能力评测使用 HealthBench。

作者指出该受控设置可能无法覆盖多语言、多轮医疗咨询以及纵向照护、临床信息抽取等更广的临床能力,单一指令数据源也可能限制泛化;LLM 评判与临床医生在抽样 480 条回复上的总体一致率为 88.8%,Cohen's κ 为 0.73,且在不同模型与方法组合间从 82.5% 到 97.5%、κ 从 0.52 到 0.94 不等。