跨模型可解释性不再各说各话:GB-SAE 用共享字典统一 ViT、SigLIP、DINOv2 的概念
核心概要
不同基础模型对同一图像学到的语义概念彼此不兼容,此前的方法只能把各模型自己的概念在坐标上对齐,概念本身仍无法共享。GB-SAE 把跨模型可解释性写成表示分解问题,用共享瓶颈编码器和可学习门控把隐变量分到共享字典与私有字典,在 ImageNet-1K 的 ViT、SigLIP、DINOv2 表示上,仅用共享字典重建的平均 为 0.53/0.55(投影/原始),总重建为 0.60/0.60,比预测特征均值提升 60%。
深度剖析
GB-SAE 让多个异构视觉基础模型共用同一套语义字典,而不只是把各自的概念编号对齐到同一坐标系。 此前的 USAE 和 SPARC 为每个模型学习各自的概念,再用跨重建目标把隐坐标对齐,概念仍留在各模型的原生表示空间里,并需为每个模型单独维护一对编码器-解码器。 在 ImageNet-1K 的 ViT、SigLIP、DINOv2 表示上,GB-SAE 仅用共享字典的平均重建 为 0.53/0.55(投影/原始),总重建为 0.60/0.60;作为对照,USAE 与 SPARC 的跨模型重建 分别为 0.20 和 0.41。
共享字典把大部分可迁移语义集中到同一组概念上,私有字典只补充模型特有的残差。 共享分支单独重建已接近总重建,而私有字典单独重建的平均 只有 0.10/0.12,说明模型特有偏置所占的语义份额较小。 在零样本跨模型特征检索中,用共享表示检索的召回率比随机检索、私有表示检索和投影特征检索高出最多两个数量级,后两者接近随机水平。
这套共享字典可以迁移到训练时没见过的模型和下游任务。 训练时未参与集合的 CLIP 只需把冻结的随机投影换成可学习的单层线性适配器,共享编码器、门控和共享解码器保持冻结。 CLIP 的适配在 4–5 个 epoch 内收敛,共享分支重建 为 0.50/0.50;用共享字典重建特征训练的下游分类平均 Acc@1/Acc@5 为 0.86/0.97,高于投影特征的 0.76/0.92、USAE 的 0.72/0.92 和 SPARC 的 0.78/0.93。
启示与展望
评估范围限于 ImageNet-1K 上的视觉基础模型,主实验使用 ViT、SigLIP、DINOv2 三种骨干,另有三模型和四模型配置;下游任务只覆盖线性分类和跨模型特征检索。
方法能否扩展到语言模型、多模态架构或视觉规律较弱的领域仍是开放问题;成对跨模型对齐损失随模型数量呈二次增长,模型集合扩大可能需要近似或分层对齐;共享与私有的划分是软划分,受门控正则强度影响,目前没有不依赖经验调参的选择准则。
