跳到主要内容
返回时间线
medRxiv来源发表:

PCOS筛查不再只看总准确率:最罕见亚型召回从75%升到87.5%

核心概要

多囊卵巢综合征的机器学习筛查长期只报告一个二分类准确率,掩盖了各临床亚型之间的差异。在541名患者的公开数据集上,调优后的随机森林各亚型准确率从最罕见亚型的75.0%到最常见亚型的97.8%,相差22.8个百分点,剔除用于定义亚型的七个变量后差距为23.3个百分点。一种由随机森林筛选特征、遗传算法调参的多任务神经网络同时预测二分类标签与亚型,保持90.2%的二分类准确率,把最罕见亚型召回从75.0%提高到87.5%,把难以归类病例的召回从多分类模型的31.5%提高到79.6%。

Source-provided article image: Beyond Binary Diagnosis: A Genetic Algorithm Optimized Hybrid Machine Learning Model for PCOS Phenotype Prediction
medRxiv · 第 5 页

深度剖析

多囊卵巢综合征的筛查模型不能只用一个总体准确率来评价,因为同一个模型在不同临床亚型上的表现差别很大。 此前这类研究几乎都只回答“有没有患病”这一个二分类问题,报告的准确率在80%到接近99%之间,很少检查这个准确率在四个Rotterdam亚型上是否一致。 在541名患者、177例阳性的公开数据集上,调优后的随机森林各亚型准确率从最罕见亚型的75.0%到最常见亚型的97.8%,相差22.8个百分点;剔除七个用于定义亚型的变量后差距为23.3个百分点,说明差距不是标签构造方式造成的。

直接把预测目标从“是否患病”换成“属于哪个亚型”并不能解决问题,只是把错误挪到了另一批患者身上。 一种按类别加权的六分类随机森林在常见亚型上接近满分,但最罕见亚型的召回从二分类模型的75.0%降到43.8%,难以归类的病例从38.9%降到31.5%。 六分类模型的宏平均F1为0.661、总体准确率83.9%,平衡准确率63.2%;16例最罕见亚型患者中有9例被直接判为对照,54例难以归类患者中有37例被判为对照。

让二分类任务和亚型任务共享同一层隐藏表示,可以在不牺牲总体准确率的前提下把罕见亚型的召回找回来。 单独训练的多分类模型在罕见亚型上表现最差,而共享表示让样本量更大的二分类任务为样本稀少的亚型任务提供支持。 该模型在同样的十折折外预测下保持90.2%的二分类准确率和0.962的AUC,最罕见亚型召回升到87.5%,难以归类病例召回升到79.6%;配对检验中这两项改善分别对应p=0.016和p<0.0001,而常见亚型与另一亚型没有显著差异。

消融实验把改善归因到特征筛选和类别加权,而不是共享隐藏层本身。 共享表示此前被当作多任务学习带来提升的原因,消融显示去掉共享层后罕见亚型召回反而更高。 仅保留亚型任务的变体达到71.7%平衡准确率、0.659宏平均F1、87.5%最罕见亚型召回和77.8%难以归类召回;去掉共享层的变体为89.8%二分类准确率、0.956 AUC、93.8%最罕见亚型召回和81.5%难以归类召回,五种子稳定性测试中其最罕见亚型召回为92.5%(标准差4.7),共享层版本为90.0%(标准差5.0)。

启示与展望

这项工作面向的是回顾性公开基准上的方法研究,读者应把它看作对评价方式的提醒,而不是可直接使用的筛查工具。全部结果来自一个541名患者、来自印度单一地区的公开数据集,亚型标签由现有特征推导的代理规则生成,而非生化确认的诊断。作者明确说明,任何数字都不构成真实诊断路径中的临床获益证据,并列出下一步需要生化确认亚型的外部队列验证、与现行二分类筛查的配对统计比较,以及决策分析评价。

数据集缺少总睾酮、游离睾酮、DHEAS等生化雄激素指标,亚型标签依赖多毛、痤疮与相对激素水平的代理规则;最罕见亚型只有16例,置信区间较宽;近三分之一阳性患者无法归入任一亚型,作者将其视为数据集产物而非流行病学事实。作者还指出,超参数搜索预算有限,且共享隐藏层并非罕见亚型改善的必要条件。