跳到主要内容
返回时间线
arXiv来源发表:

脑信号零样本找图不再只靠最后一层:SIRAZ 在 THINGS-EEG 受试者内检索到 92.5% Top-1

核心概要

SIRAZ 把视觉神经解码的视觉一侧改成多深度、生物启发的表示,再与脑信号对齐。此前方法多只用预训练视觉编码器的最后一层或固定聚合,神经表示与生物视觉的分层处理不一致。SIRAZ 用中央凹滤波与多尺度高斯差分两路图像变换,取多个中间层特征经门控残差适配器融合,脑信号一侧用方向感知多尺度时间注意力编码,最后以双向对比损失对齐。在 THINGS-EEG 受试者内设置上,SIRAZ 达到 92.5% Top-1 和 99.27% Top-5;THINGS-MEG 受试者内为 50.25% 和 75%。

Source-provided article image: SIRAZ: Sparse Inter-Layer Residual Aggregation for Zero-Shot Visual Neural Decoding
arXiv

深度剖析

视觉神经解码的视觉表示不再只取预训练编码器的最后一层,而是同时使用多个中间深度的特征,并按可学习权重聚合。 此前的解码方法主要依赖最终层或预定义的特征聚合策略,难以利用预训练视觉模型内部的分层表示。 在 THINGS-EEG 受试者内设置上,所选层策略取得最高平均 Top-1 准确率 92.5%,优于四个早期层、四个中间层、四个后期层和最终层这几种替代方案。

图像进入视觉编码器前先经过两路模拟人眼早期处理的变换:一路保留注视中心的高分辨率、向周边逐渐模糊,另一路用多尺度高斯差分强调亮度对比和粗空间结构。 此前的生物启发变换多被单独考察,不同视觉通路所携带的互补信息在预训练视觉编码器内没有被一起利用。 在 THINGS-EEG 受试者内设置上,中央凹流与高斯差分流各自都优于直接表示和均匀表示,两路组合取得最高检索性能,超过任一单独表示。

脑信号一侧的编码器把时间变化拆成正、负两个方向,并在原始、二分之一、四分之一三种时间分辨率上学习注意力模式。 标准时间卷积能捕捉局部模式,却不把时间变化的方向当作独立信息来源。 在 THINGS-EEG 受试者内设置上,基于时间注意力的编码器优于常规替代方案,其中方向感知多尺度时间注意力编码器取得最佳整体检索性能。

视觉特征在进入共享嵌入空间前,先经过一个轻量门控残差适配器做非线性细化,再与脑信号表示用双向对比损失对齐。 预训练视觉编码器的中间表示通常不针对脑信号做显式适配,神经与视觉表示之间存在跨模态差异。 在 THINGS-EEG 受试者内设置上,该适配器取得最佳性能,达到 92.5% Top-1 和 99.25% Top-5;渐进式消融中,加入该适配器带来 14.50% 的 Top-1 增益,是各组件中最大的一步。

启示与展望

演示范围限于 THINGS-EEG(10 名受试者、63 通道)和 THINGS-MEG(4 名受试者、271 通道)两个零样本检索基准,评价指标为 Top-1 与 Top-5 准确率,分受试者内和留一受试者两种设置。

受试者内与跨受试者性能之间的差距表明,受试者特异的神经变异性仍是所学表示中的重要因素;跨受试者泛化被列为后续工作方向。