冻结的DINOv3中间层已能分开病灶,SMIA只训0.51M参数让20个医学与工业任务均值mIoU到80.99%
核心概要
跨域少样本分割要把自然图像预训练的编码器迁移到医学或工业图像,只靠少量带像素标注的支持样本。SMIA在冻结的DINOv3每个注意力头聚合之后插入一个条件分支,用接收位置在注意力之前的局部状态去决定该头消息如何更新,从而让相近的上下文消息在不同位置产生不同甚至相反的修正。在覆盖5个医学数据集与MVTec AD全部15类的20个任务上,它只训练0.51M参数,5样本与10样本六数据集平均mIoU分别为77.40%和80.99%,比各自最强先前方法高3.61和3.93个百分点。
深度剖析
少样本跨域分割的适配点从编码器末端挪到了每个Transformer块内部:预训练的注意力与FFN参数保持冻结,只在每个注意力头聚合出消息之后加一条轻量分支,让同一份上下文消息按接收位置被改写成不同的残差。 此前的做法要么用冻结特征与支持样本做免训练匹配,要么在冻结层输出上训练多尺度解码器,支持掩码只在编码器完成全部token处理之后才影响预测;参数高效微调如LoRA则对选定投影施加与token无关的低秩增量。 在BUSI超声上,冻结的DINOv3第9块单个注意力头已能把病灶与周围间质分开,而同一10样本支持集下冻结探针与LoRA的末层相似度弥散、几乎漏掉整个病灶;在MVTec Capsule上冻结头同时响应裂纹与邻近印刷数字,冻结探针过度分割外壳,LoRA只保留裂纹的一小片。
做法是把每个头的消息更新写成接收位置局部状态的线性函数,再用一个跨patch、跨图像共享的低秩双线性映射把它压到低维状态、消息与输出子空间里。 若在原始维度上自由参数化这种条件关系,每个头都要一份完整权重,而稀缺的支持掩码只覆盖有限的状态与消息组合,无法支撑这样的参数量。 在DINOv3 ViT-S+/16上,每个头引入的权重由状态投影、消息投影、对角配对与输出投影组成,加上385参数线性头共511,873个可训练参数;更新被放在每个适配块冻结FFN之前,由冻结FFN与更深层继续精炼后交给单层线性读出。
在20个任务上,5样本与10样本的六数据集平均mIoU分别为77.40%和80.99%,两个预算下都排第一,分别在16/20和18/20个任务上领先。 同一固定支持协议下最强先前方法为5样本HERA的73.79%与10样本DINO-AugSeg的77.06%,SMIA比它们高3.61和3.93个百分点,且所用ViT-S+/16骨干小于INSID3、HERA、RSRM与DINO-AugSeg使用的骨干。 在MVTec AD上它把领先扩大到4.98和5.38个百分点,工业前景精确率82.14%与83.55%,召回比DINO-AugSeg高9.35和11.20个百分点;在Kvasir-SEG与MVTec Transistor两个10样本任务上先前方法更高,分别为HERA与RSRM的83.45%、83.00%对82.21%,以及DINO-AugSeg的65.33%对63.03%。
启示与展望
演示范围是5个医学数据集与MVTec AD全部15类共20个任务,支持集按5次随机抽样嵌套构造,所有方法在同一支持集与同一原生分辨率查询集上评测,SMIA默认适配全部12个Transformer块。材料明确提出的下一步是把局部状态条件化更新与非局部关系先验结合,以刻画整体部件几何。
在MVTec Transistor上,对缺失或错位引脚这类暴露板面局部看似完好的整体布局异常,SMIA的召回仍偏保守,尽管前景精确率为78.22%;Kvasir-SEG与MVTec Transistor两个10样本任务上先前方法mIoU更高。子空间秩从低到高变化时三数据集平均mIoU只在79.24%到79.50%之间,材料将其解释为秩快速饱和。
