冻结特征也能做生物医学分割:CAST不训练,八项基准平均Dice高出最强基线12.34个百分点
核心概要
生物医学图像里相邻结构外观相近,靠冻结视觉特征逐块匹配容易把解剖上错误的区域排到正确对应之前。CAST在冻结的DINOv3骨干上加入两项检验:稳定性检验用几何变换下的特征波动做全局去偏和逐块校准,一致性检验用邻域特征对比与布局一致性复核候选匹配。在覆盖2D与3D、跨受试者与跨模态的八项基准上,CAST平均Dice为72.39%,比最强基线SegGPT的60.05%高12.34个百分点,并在全部六个体数据设置中排名第一。
深度剖析
CAST让生物医学上下文分割不再依赖任务训练:给定少量标注示例,就能在冻结的DINOv3特征上分割新图像中的目标结构。 此前的免训练路线直接按特征相似度匹配示例与查询图像块,而生物医学图像中相邻解剖结构共享组织外观、强度和纹理,边界由解剖组织方式而非明显视觉跃变决定。 在八项生物医学基准上,CAST平均Dice为72.39%,最强基线SegGPT为60.05%,相差12.34个百分点;六个体数据设置中CAST全部排名第一。
做法是把匹配从单块外观相似度改成两类证据的联合筛选。 稳定性检验对每张源图像施加平移、旋转和各向同性缩放等七种固定几何变换,把变换后特征对齐回原网格,用残差估计对变换敏感的主导方向做全局去偏,并为每个源图像块建立各自的匹配度量。 一致性检验比较查询块与源候选块周围八个方向、多个半径上的中心相对特征差异,并用源掩码给出的目标与非目标标签核对邻域布局;检索出的候选按这两类证据重排后投票得到分割结果。
两项检验各自有效,合起来更好。 在LPBA40和CHAOS上,只用稳定性检验得到42.54%和79.44% Dice,只用一致性检验得到42.58%和79.67%。 两项合用后升至44.88%和81.51%,相对单用分别提高3.79和2.41个百分点;直接最近邻标签迁移在同样两个设置上为37.72%和77.53%。
启示与展望
评估覆盖八项生物医学基准,包括2D的胸部X光、眼底、组织学和荧光图像,以及3D的骨盆CT、脑部MRI、腹部CT/MRI,并包含跨受试者与跨模态迁移;体数据任务用同一源受试者的五张标注切片引导另一受试者整个体积的分割。图谱标签迁移实验把Allen小鼠脑CCFv3图谱标注转到DMBM荧光图像,覆盖PSD95与SAP102两种标记下的11个脑区。
跨模态迁移对基于外观的匹配尤其困难,对应解剖结构可能呈现明显不同的对比度与纹理。图谱标签迁移仍受成像外观差异和相邻脑区边界常不清晰的影响。
