医疗智能体不再把工具输出当证据:CIEG先审后答,眼底筛查平衡准确率0.730
核心概要
工具增强的医疗智能体默认把工具返回的一切当作证据,而冻结的推理模型无法忽略进入上下文的内容,错误输出会把原本答对的病例翻成错误。CIEG把“什么算证据”的裁定移到推理模型之外:每个工具输出写成可与原始输入核对的卡片,由只看输入与卡片的检查器决定准入,求解器只从准入卡片作答,全程不训练。在眼底青光眼筛查、胸片肺炎分类和医学问答上,它取得同规模模型中最高准确率,并显著优于读取同一批卡片的工具智能体与多智能体系统。
深度剖析
医疗智能体需要一道独立于答题模型的准入环节,因为工具输出一旦进入冻结推理模型的上下文就会左右答案,即使它本身是错的。 此前的做法要么在调用工具之前决定调用哪些工具,要么在推理模型自己的上下文里反思、核验或让多个智能体协商,而输出一旦产生就完整进入上下文。 在青光眼筛查中,把三张分割卡片全部交给求解器,会让178个原本答对的病例(44.5%)翻成错误;同一卡片池下,全部准入的平衡准确率从0.83降到0.61(出现一张错误卡片时),错误卡片更多时降到0.5以下。
CIEG把工具增强推理拆成获取、准入、作答三步,准入由不接触求解器上下文的检查器完成。 检查器只读原始输入和卡片池,沿两条线审查:卡片展示的材料是否支持其结论(保真度),以及卡片之间是否相互印证或冲突(一致性),冲突只提示该看哪里,裁定仍以对输入的保真度为准。 检查器与求解器都用Qwen3-VL-8B且全部冻结、不做任何训练;在青光眼任务上,检查器区分正确与错误分割的AUROC为0.93和0.85,多数正确卡片被准入,错误卡片只有约五分之一被准入。
准入带来的增益可以拆成“看得更少”和“选得更准”两部分,只有读取卡片内容的门控才能拿到后者。 与全部准入相比,随机丢弃同样数量的卡片也能改变结果,因此评估证据过滤器应以每例准入相同卡片数的随机门控为参照,而不是以全部准入为参照。 CIEG在三个任务上都超过预算匹配的随机准入;在青光眼上它比更好的平凡策略(不准入任何卡片)高0.094,在胸片上高0.016,在医学问答上高0.55个百分点。
启示与展望
演示范围是三类工具输出对应的三个任务:REFUGE2验证集的400张眼底图做青光眼筛查、按患者去重后431张的Kermany儿童胸片做肺炎分类,以及MedQA、MedMCQA、NEJM三个问答集;检查器与求解器均为冻结的Qwen3-VL-8B,求解器取8次采样多数投票。
理论保证的是受治理系统不劣于“全部准入”和“全部不准入”中较好的那个,实际门控能否超过两者仍需实验判定;预算项在不同任务上符号相反,胸片与问答上“看得更少”的代价抵消了大部分选择增益,因此那里的准确率与全部准入接近。
