诊断对了不等于路走对了:ClinTraj审计300例,最终诊断可接受的医院轨迹中55.2%经过可能伤害患者的决策
核心概要
临床AI评估长期只看最终诊断是否正确,即使按时间逐步释放证据的评测也只问系统是否答对。ClinTraj把每一次检查、治疗和出院决定按当时可见的证据单独评定潜在伤害与临床合理性,并用医生参考标准校准。在300例来自中国一家医院心内科、MIMIC-IV和ASCENT的病例中,最终诊断可接受的医院轨迹里有55.2%至少经过一次中度或重度潜在伤害决策;结构化纠错能修复73.6%的首次错误,但30.2%的纠错之后又出现新的潜在不安全决策。
深度剖析
评估对象从最终诊断扩展到患者沿途经过的每一个决策:在最终诊断被医生判定为可接受的轨迹中,仍有相当比例包含可能伤害患者的中间决策。 此前的逐步评测只统计系统是否得到正确诊断、是否问到该问的信息或是否控制检查成本,安全评测则只对单条回答打分,都不衡量决策序列对患者的潜在伤害。 在96例中国教学医院心内科住院病例上,最终诊断可接受的轨迹中55.2%[42.9, 66.9]%经过至少一次中度或重度潜在伤害决策,24.8%[16.3, 36.5]%经过至少一次临床不可接受的决策;MIMIC-IV的96例为76.2%和51.0%,ASCENT的108例为39.6%和24.3%。
纠错反馈能否修复错误取决于它是否带有临床内容,而修复错误并不等于恢复安全轨迹。 只给一句“拒绝并重新考虑”时,首次错误在下一个检查点被解决的比例为24.8%,给出问题、正确动作和临床理由的结构化纠错则为73.6%。 在150个由医生评定的首次错误事件上,可辩护恢复从仅拒绝的15.0%升到结构化纠错的56.0%,但结构化纠错之后两个检查点内出现新的潜在不安全问题的比例为30.2%,仅拒绝为19.7%。
潜在伤害是自动评判模型与临床医生分歧最大的维度,因此头条安全率需要医生参考标准来定标。 评判模型与参考标准在最终诊断可接受性上的一致性为Cohen's κ 0.54,在不可接受决策上为0.28,在潜在不安全决策上仅0.21。 按全部被评判决策加权,评判模型把50.0%的决策判为潜在不安全,参考标准为23.5%;即使在评判模型给出重度伤害的决策中,参考标准也有71.0%放在更低等级。
启示与展望
已演示的范围是中国一家三级教学医院心内科的96例住院病例、MIMIC-IV中一个美国中心心内科的96例急诊入院,以及ASCENT的108例多专科教学病例;病例按当时可见的证据逐检查点回放,决策按该时点可知道的信息评判,而不是与反事实的诊疗路径比较。
潜在伤害本身是有争议的临床判断:在一项独立于正式标注的预实验中,10名有临床背景的标注者对同一批50个首次错误评分,对是否构成中度或重度潜在伤害的Fleiss' κ仅为0.16;评判模型给出的伤害判定也明显偏多。作者把厘清模型评判者与医生之间、以及医生彼此之间在潜在伤害上的分歧列为后续问题。
