跳到主要内容
返回时间线
medRxiv来源发表:

上市后药物警戒交给多智能体:MedCheckpoint在七个数据受限陷阱题上零误导性失败

核心概要

香港大学团队构建多智能体系统MedCheckpoint,把上市后药物警戒从自然语言问题推进到可审计的观察性分析。系统在分析前锁定研究设计参数,患者层面的统计交给人工编写的确定性工具,检查点规则会中止不可行的分析。在270万人的模拟电子病历、54个药物安全问题基准上,三位独立大模型评审给出的总体均分为4.81至4.88,高于两个编码智能体基线;七个已知数据受限的陷阱题共21次运行中,评审未发现误导性失败。

AI-generated editorial illustration: Automating postmarketing pharmacovigilance with large language model agents

深度剖析

上市后药物警戒的自动化分析现在可以在执行前固定研究设计,并在数据不支持时主动中止,而不是由通用智能体在流程中途临时决定分析方法。 此前的做法依赖自发不良事件报告和逐个问题手工开展的观察性研究,报告不足且发现滞后;通用编码智能体在长流程中会临时更改分析决策。 在270万人的模拟电子病历、54个自然语言药物安全问题上,三位独立大模型评审对五个维度的总体均分给出MedCheckpoint 4.81至4.88,两个共享同一底层模型的编码智能体基线分别为4.25至4.55和4.02至4.29。

系统把药物安全问题拆成方案生成、分析和报告三个阶段,由三个智能体分工完成。 方案生成阶段借助按药物类别组织的知识库,把问题转成包含暴露、对照、人群、结局、协变量和统计分析计划的结构化方案,并锁定暴露定义、结局定义、队列标准和主分析计划。 分析阶段由人工编写的确定性工具完成队列构建、混杂控制、多结局分析和统计检验,检查点引擎记录执行状态,在队列或匹配检查失败时阻止后续分析与报告调用。

在七个预设陷阱题上,系统识别出无法构建的对照或无法可靠测量的结局,并据此限制结论。 这些题目中三个涉及两种研究药物都被使用、无法形成预期分组,四个涉及关键结局无法从记录中可靠识别。 每个系统每题运行三次共21次,三位评审在MedCheckpoint的运行中均未标记误导性失败,而两个基线分别出现0至2次和1至2次;MedCheckpoint的21次运行中有19至20次被评为正确处理。

启示与展望

评估在Synthea生成的270万人模拟纵向电子病历上进行,数据按OMOP通用数据模型组织,药物与结局的可用范围取决于模拟器生成的内容;作者明确表示这些关联不应被解读为真实人群中的药物安全性证据,并把在真实常规临床电子病历中部署和评估列为下一步。

模拟数据中的关联可能反映数据生成模型的假设而非真实临床效应;三位大模型评审的总体质量评分一致性为中等,绝对一致性组内相关系数为0.625;部分中止可能代表错过了可行的分析机会;知识库应前瞻性整理还是查询时动态检索,以及其规模、更新频率与治理方式,仍是待研究的问题。