跳到主要内容
返回时间线
arXiv来源发表:

门控视觉状态空间模型能精确擦除被关闭的 token,但门控图并不解释恶性判断

核心概要

在肺结节恶性度概念瓶颈模型上,把选择性状态空间块卷积输入的掩码置零、并让被关闭 token 在读出时权重为零,概念与任务 logit 就对被关闭 token 的内容严格不变;15 个交叉验证模型逐路径敲除全部复现这一模式,最大 logit 变化恰为 0,而违反条件时为 4.1 到 6.7。门控本身既不必要也不充分,门控图更像掩码监督得到的定位支持集,而非对恶性判断的解释。

Source-provided article image: Certified, Not Explained: Exact Token Erasure in Gated Vision State Space Models
arXiv

深度剖析

门控视觉状态空间模型可以给出可检验的精确擦除保证:固定门控模式后,被关闭 token 的内容无法影响概念和恶性度输出。 此前通常把选择性步长当作选择机制,认为扫描不接纳的 token 不会影响预测。 在 LIDC-IDRI 上对 15 个交叉验证模型做逐路径敲除,满足条件时最大 logit 变化恰为 0,不满足条件时在 4.1 到 6.7 之间。

保证来自对卷积输入的掩码,而不是对步长的门控。 门控、步长门控、残差门控逐一去掉后保证仍然成立,去掉卷积输入掩码则全部失效。 15 个模型全部运行中,去掉门控仍为 15/15 精确,去掉卷积输入掩码为 0/15 精确。

门控模型在任务 AUROC 上与无门控 Mamba 概念瓶颈模型持平,但概念质量偏低。 门控模型池化折外 AUROC 为 0.8425 加减 0.0085,无门控 Mamba 瓶颈为 0.8428。 同一固定患者级五折划分、三个种子共 15 个模型,DeLong 检验在三个种子上均不显著。

启示与展望

保证针对固定的门控模式成立,覆盖概念 logit 与由概念计算的任务 logit;在部署时门控本身是图像的函数,改变被关闭 token 可能改变门控。所有证据来自 LIDC-IDRI 患者 0001–0600 的 764 个结节、每结节一张轴位切片,采用固定患者级五折划分与三个种子,没有外部验证。

保证是条件性的:给定该掩码,预测不能依赖掩码隐藏的内容,但不说明任何内容都会产生同一掩码,也不说明开放 token 在临床上是否有意义。门控图在标签随机化检验中未通过,概念特异图在真实标签种子之间也仅弱可复现。最终模型未低于真实概念相关性所隐含的泄漏水平,预注册的 F1 检验未通过。