AI 护理计划多一道核查器 CITE:测试病例抓到 17 个可核查错误中的 5 个,真实诊疗中医生只采纳 9 条有效提示中的 1 条
核心概要
Waymark 在 Medicaid 初级保健中测试了名为 CITE 的核查器:它作为第二个语言模型,在医生签署前检查 AI 起草的护理计划,标出错误建议、记录不支持的说法和遗漏的诊疗。回顾性测试中,CITE 在主要阈值下抓到 17 个可核查错误中的 5 个,特异性 97.3%;预注册随机试验中,它在主要阈值下没有误报,医生判定 11 条提示中 9 条有效,但签署的最终病历只采纳了其中 1 条,各臂安全事件相近。
深度剖析
AI 起草的护理计划在签署前多了一道独立核查:CITE 作为第二个语言模型读取草稿,把问题以提示形式列在草稿旁,由医生决定是否修改。 此前没有在真实诊疗中检验这类核查器的大型随机试验;最接近的前瞻研究是 98 名患者的单臂研究,而健康 AI 治理机构要求在实际使用场所测试这类工具。 在 447 个编写的 Medicaid 测试病例上,三个模型各写一份计划共 1,341 份,CITE 在主要阈值下抓到 17 个可核查错误中的 5 个(29.4%,95% CI 10.3 至 56.0),特异性为 1,288/1,324(97.3%)。
核查器在真实诊疗中没有制造额外警报负担:77 次由 CITE 检查的接诊中,它在 7 次里共给出 11 条提示,平均每次 0.14 条,低于预注册的中位数 3 条上限。 临床决策支持警报常被医生大量覆盖,覆盖率为 46.2% 至 96.2%,重复警报还会进一步降低接受度,因此提示数量本身是设计约束。 医生评审判定 11 条提示中 9 条临床有效(81.8%,95% CI 48.2 至 97.7),包括 5 条记录不支持的说法和 6 条遗漏诊疗中的 4 条;但签署病历只对 9 条有效提示中的 1 条采取了行动。
带安全护栏的 AI 草稿与无辅助医生在安全事件上相近,这是卫生系统最先要问的问题:护栏能否让模型起草、医生审阅而不增加安全事件。 试验把 240 名患者随机分为无辅助医生、护栏辅助、护栏加 CITE 三臂,此前缺少这种在真实诊疗中的随机对照。 安全复合终点在三臂分别为 4/79(5.1%)、4/82(4.9%)和 5/79(6.3%);过度升级在护栏加 CITE 臂相对护栏臂的差值为 −1.2 个百分点(95% CI −6.6 至 3.5),上界低于预设的 5 个百分点安全边际。
启示与展望
已展示的范围是 Waymark 在俄亥俄、弗吉尼亚、华盛顿和伊利诺伊四州为 Medicaid 管理式医疗成员提供的多学科初级保健服务,240 名患者各一次接诊,真实草稿全部由 Gemini 3.1 Pro 在六部分安全护栏下生成;回顾性部分使用 447 个编写的测试病例。
真实草稿中可核查错误远少于测试病例(161 份中 1 份,0.6%,而同一模型在测试病例中为 447 份中 16 份,3.6%),且那 1 份在 CITE 未检查的护栏臂,因此试验无法估计 CITE 在真实诊疗中的敏感性;试验对主要问题把握度不足,事后估计只能检出约 13.7 个百分点的复合终点上升;试验未记录医生是否打开、接受或覆盖每条提示,行动只能从签署病历判断;回顾性测试中 Claude Opus 4.8 既起草评级又是核查器模型和受评模型之一。
