脑信号零样本找图不再只靠最后一层:SIRAZ 在 THINGS-EEG 受试者内检索到 92.5% Top-1
SIRAZ 把视觉神经解码的视觉一侧改成多深度、生物启发的表示,再与脑信号对齐。此前方法多只用预训练视觉编码器的最后一层或固定聚合,神经表示与生物视觉的分层处理不一致。SIRAZ 用中央凹滤波与多尺度高斯差分两路图像变换,取多个中间层特征经门控残差适配器融合,脑信号一侧用方向感知多尺度时间注意力编码,最后以双向对比损失对齐。在 THINGS-EEG 受试者内设置上,SIRAZ 达到 92.5% Top-1 和 99.27% Top-5;THINGS-MEG 受试者内为 50.25% 和 75%。