通道各自编码反而更强:Meta FAIR 的 DINO-BoC 在荧光显微与卫星影像上超过联合编码
核心概要
科学影像的通道数和语义各不相同,此前多认为把通道联合编码才能学到跨通道关系。Meta FAIR 等机构在约775万张图像的扩展训练集上系统比较后发现,按单通道独立编码、推理时再拼接特征的 DINO-BoC 在显微与地理影像的多数任务上优于联合编码的 Channel-ViT,并在 CHAMMI 的线性探针平均分布外得分上超过监督基线 HyperNet。该结论覆盖域内、跨数据集与未见通道组合,但蛋白定位等任务在最近邻评估下仍需线性探针才能追平。
深度剖析
在通道组成各异的科学影像上,把每个通道单独送进同一个骨干网络、推理时再拼接各通道特征的做法,规模放大后反而胜过让通道在模型内部交互的联合编码方案。 此前有研究认为,联合编码通道并配合可学习的通道嵌入能保留跨通道信息,因而在可变通道数场景中更有优势;独立编码则被认为放弃了显式学习通道间关系。 在约775万张图像的扩展训练集上,DINO-BoC 在 HPA-FOV 蛋白定位、HPA-FOV 细胞类型、JUMP-CP 扰动分类和 WTC 细胞周期四项任务上均优于 DINO Channel-ViT,例如蛋白定位 F1 为 61.7 对 57.4。
做法是把一张多通道图像拆成单通道输入,每个通道单独经过共享的视觉 Transformer 编码器,得到通道级特征后再拼接成图像级表示。 这一策略被称为 Bag of Channels,与多模态学习中的后融合思路相近,训练时每次只随机抽取一个通道,模型内部不做任何跨通道计算。 在 CHAMMI 基准的线性探针评估中,DINO-BoC 的平均分布外 F1 为 67.9,高于 DINO Channel-ViT 的 59.8 和监督基线 HyperNet 的 65.4;在 Meter-ML 使用全部通道时 mAP 为 78.1。
独立编码还带来对通道组合的完全兼容:模型不依赖预训练时见过的最大通道数,因此可以直接处理比训练时更多的通道。 联合编码方法只能处理不超过预训练最大通道数的输入,超出部分没有对应的已训练通道嵌入。 在预训练最多五个通道的 JUMP-CP 上,DINO-BoC 用五个通道时准确率为 45.2,扩展到八个通道时为 51.6,而 Channel-ViT 无法在八个通道上评估。
启示与展望
结论建立在荧光显微与地理影像两类通道异质数据上,训练集为约775万张图像的扩展 CHAMMI,评估覆盖 HPA-FOV、WTC、JUMP-CP、Cyclops 与 Meter-ML;作者另给出 ImageNet 对照,在训练所见数据量固定时 DINO-BoC 的 82.8 高于固定通道模型的 81.9,而在梯度步数固定时固定通道模型仅高出 0.3 点(83.1 对 82.8)。
在 CHAMMI 的最近邻评估下,DINO-BoC 在需要跨通道空间推理的 HPA 蛋白定位任务上落后于 Channel-ViT 和监督基线,需改用线性探针才追平;作者也指出联合编码所宣称的统一嵌入空间优势在实践中仍不清楚。
