跳到主要内容
返回时间线
arXiv来源发表:

MambaVision的模块消融多半在量位置脆弱性:同尺寸零对照下,单块内容效应只剩零点几个百分点

核心概要

在MambaVision这类把Mamba状态空间混合器与自注意力交替堆叠的视觉骨干里,逐块消融一直被当作衡量模块贡献的手段。研究者在全部5万张ImageNet验证图像上,为每次消融配一个尺寸相同的零对照——同样的扰动但打乱通道或翻转符号——发现真实消融与零对照造成的损伤在top-1准确率和真实类别排名上几乎无法区分。同一检验在DeiT-Small和Swin-T上能检出内容效应,说明单块消融在MambaVision中主要反映残差流对扰动位置和幅度的敏感,而非模块计算的内容。

Source-provided article image: Size-Matched Nulls Reveal What Block Ablation Measures in MambaVision
arXiv

深度剖析

在MambaVision中删掉单个混合器模块,准确率下降的幅度与在同一位置施加一个不含该模块信息的同尺寸扰动几乎一样。 逐块消融通常被读作该模块贡献的大小,前提是损伤来自丢失了模块所计算的内容。 在全部5万张ImageNet验证图像上,MambaVision-T十二个模块合并后的内容效应为0.016个百分点,90%区间[0.049, 0.024]落在预设的±0.1个百分点等价边界内;同一检验在DeiT-Small和Swin-T上分别检出最高8.7和1.25个百分点的显著内容效应。

把内容效应按损伤大小归一后,MambaVision在准确率上与分层注意力模型Swin-T相当,在真实类别排名上低于两个对照。 绝对内容效应小,部分原因是MambaVision单块损伤本身就小,平均0.34、0.21和0.11个百分点,而Swin-T为1.66、DeiT-Small为2.10个百分点。 准确率的内容份额在MambaVision-T为0.20、S为0.42、B为0.25,Swin-T为0.24、DeiT-Small为0.91;排名份额三个MambaVision模型分别为0.06、0.16和0.39,低于Swin-T匹配阶段的0.94和DeiT-Small的0.97,其中T和S也低于Swin-T整体的0.37。

同类型模块成组移除时,损伤远超各自单块效应之和,而同尺寸零对照即使保留扰动之间的对齐也复现不了这种叠加。 若模块彼此独立,移除多个模块的代价应等于逐个移除之和。 MambaVision-T移除全部六个Mamba或六个注意力混合器,代价分别是单块效应之和的3.7到8.4倍;使用共享置换、保留块间对齐的组零对照叠加得明显更少,真实组消融对共享零对照的内容效应约为对独立零对照效应的80%。

输入相关的选择性是真实的,但只在联合冻结时显现,且主要落在B和C投影上。 逐块冻结Mamba混合器的扫描参数,最多只损失0.23个百分点,看起来模型几乎不用选择性。 在全部六个Mamba混合器中同时冻结,仅图像依赖一项就占Mamba贡献的20%到32%,三个模型尺寸分别为29.1%、32.1%和28.2%;同一冻结代码在mamba-130m的复制任务上把复制准确率从19.06%降到零。

启示与展望

结论建立在MambaVision-T、-S、-B三个已发布检查点的ImageNet-1k分类上,对照为DeiT-Small和Swin-T,全部实验使用固定的5万张验证图像。在MambaVision中每种混合器在阶段内的位置固定,Mamba总在注意力之前,因此类型差异与深度差异无法分开。

每个模型尺寸只发布了一个检查点,训练随机性带来的效应波动无法测量,等价边界改以零对照自身的离散度锚定。单个置换可能误导个别模块,例如MambaVision-B的L2B6、L2B7、L3B0和Swin-T的S0B0,合并结论则保持稳定。在384像素这一训练分布之外的设置下,选择性份额降到15.6%。