跳到主要内容
返回时间线
arXiv来源发表:

3D医学自监督预训练不再随机裁块:换成离线探针库,AMOS低标注Dice从55.81升到58.64

核心概要

3D医学自监督预训练长期默认从每张扫描里随机裁固定大小的子体积,等于把所有空间区域当成同样值得看。VolumeProbe把这一步改成离线构建的探针库:先按解剖合理性、信息量和多样性给候选裁剪中心打分,再在预训练时从缓存中均匀抽取中心。在VoCo、S2DC、MedGMAE三个骨干和分割、分类、配准三类任务上,替换随机裁剪后迁移性能一致提升,低标注分割上最明显,例如VoCo在AMOS的1%标注Dice从55.81升到58.64。

Source-provided article image: Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
Figure 1 · arXiv

深度剖析

3D医学自监督预训练里,子体积从哪里裁被当作一个可设计的观测策略,而不是预处理细节。 此前的默认做法是在每张扫描上随机裁固定大小的子体积,隐含假设所有空间区域对表征学习同等有价值。 在VoCo骨干上的对照实验里,按裁剪内包含的器官类别数把候选中心分成低、中、高三档静态库,BTCV与AMOS上的平均Dice从低档到高档单调上升,随机采样落在中间;换成冻结MedicalNet特征的方差作为质量代理,10%标注下与下游Dice仍正相关。

做法是离线建一个由粗到细的探针库,预训练时只从缓存里抽裁剪中心。 探针库用解剖合理性、信息量、多样性三项打分,粗网格先筛高价值区域再细化候选中心,贪心选择时用逐轴冗余惩罚避免中心扎堆。 轻量版只用几何先验和图像统计量,特征版改用冻结3DINO-ViT特征;两者共用同一套候选生成与选库流程,因此对比只反映打分来源的差别。

替换随机裁剪后,三个自监督骨干在分割、分类、配准上都获得提升。 预训练协议、裁剪大小、采样子体积数量、骨干和下游流程都保持原样,只把裁剪中心来源换掉。 VoCo在AMOS的1%标注Dice从55.81升到58.64、10%从73.34升到74.95,S2DC在AMOS的1%从55.19升到58.83,MedGMAE在WORD的1%从68.09升到70.67;配准任务上IXI与OASIS的提升幅度较小但方向一致。

启示与展望

这套方法面向使用固定大小子体积裁剪的3D医学自监督预训练,在VoCo、S2DC、MedGMAE三个骨干和分割、分类、配准三类下游任务上验证,预训练数据为VoCo-10k与AbdomenAtlasMini 1.0。探针库离线构建一次后缓存复用,VoCo-10k的缓存约41.5 MB,AbdomenAtlasMini约21.8 MB,总预训练时间相对随机采样增加4.4%、2.1%和2.2%。作者提出后续将探索把子体积选择与自监督预训练联合优化,并发展适用于非标准采集设置的更灵活先验。

探针库离线构建后保持静态,无法随模型训练过程中不断变化的学习动态调整探测位置。轻量版与特征版的对比显示,加入冻结语义特征并未稳定优于仅用几何与统计线索,因此特征版被定位为诊断性变体。低标注分割与分类的多次运行方差较大,100%标注与配准设置相对稳定。