跳到主要内容
返回时间线
arXiv来源发表:

病理切片零样本预测改走权重生成:MI-Hyper在308个任务上平均AUC高出MI-Zero 1.85个百分点

核心概要

全切片图像的零样本预测此前主要靠把切片块与类别文本的相似度池化,MI-Zero就是这一路线。MI-Hyper改为用超网络从任务与类别描述直接生成多实例学习模型的聚合权重和分类权重,先在混合病理任务上联合训练生成器与共享MIL基座,再冻结基座精调生成器。在52个病理数据集共308个任务上,其平均AUC、平衡准确率和宏F1分别比MI-Zero高1.85、1.17和0.57个百分点,部分分子预测任务的AUC与平衡准确率提升超过20个百分点。

Source-provided article image: MI-Hyper: Generating Multiple Instance Models for Weight Space Transfer Learning in Histopathology via Mixed Tasks Pretrained HyperNetwork
arXiv

深度剖析

全切片图像的零样本预测不再只靠池化切片块与类别文本的相似度,而是由任务描述直接生成一个多实例学习预测器的权重。 此前的MI-Zero在同一冻结图像与文本编码器下,把切片块与类别文本的相似度按预设算子池化成切片级预测,改变描述只改变相似度分数。 在52个病理数据集共308个任务、160989条任务-切片记录上,MI-Hyper的平均AUC为58.24、平衡准确率为45.66,MI-Zero分别为56.38和44.49,对应1.85和1.17个百分点的差距。

生成器先与一个共享的多实例学习基座一起用源任务标签训练,再在基座冻结后精调,使文本在切片特征进入之前就决定任务权重。 超网络按条件信息生成模型参数,这里条件换成任务上下文与类别描述,类别名分支生成注意力查询,共享类别解码器输出每个类别的分类行与偏置。 训练分两阶段各15轮,源任务按112个语义组做五折,目标任务的编号不参与源优化和检查点选择;部署时每个文本条件只生成一次参数并在病例间复用。

启示与展望

评估覆盖52个病理数据集的308个数据集-终点任务和160989条任务-切片记录,使用固定的五折检查点,目标仅是新任务编号而非全新患者群体。

病例可在其他源任务中重复出现,100573条查询记录能在源训练池中匹配到患者标识或特征文件,4873条在源验证池中,55543条没有记录匹配,因此结果衡量的是对留出任务编号的迁移。