跳到主要内容
返回时间线
arXiv来源发表:

脑电信号直接检索图像不再靠统一投影:频域先验加自适应温度,跨被试Top-1从12.4%升到24.05%

核心概要

脑电与脑磁信号噪声大、试次间波动强且因人而异,把神经响应映射进预训练视觉语义空间时,统一投影和统一监督往往不够稳。这套神经到图像检索框架在冻结的CLIP视觉空间一侧不动,改在神经通路上做三件事:用低维共享子空间加相关正则抑制冗余噪声,用幅值与相位统计对神经表征做条件调制,再按相位稳定性逐样本调整对比学习的温度。在THINGS-EEG的200类零样本检索上,被试内Top-1/Top-5达到63.40%/86.85%,跨被试达到24.05%/53.45%。

Source-provided article image: Stabilizing Neural-to-Image Retrieval with Frequency-Domain Priors and Adaptive Supervision
arXiv

深度剖析

神经到图像检索的瓶颈被定位在神经表征进入共享语义空间这一段,而不是视觉空间本身;做法是在冻结的CLIP视觉编码器之外,给神经通路加一层可条件化的对齐路径。 此前的做法把对齐当成基本均匀的投影问题,对样本、批次和被试施加相近的监督,而脑电与脑磁响应噪声大、试次间高度可变、跨被试分布漂移明显。 在THINGS-EEG的200类零样本检索协议下,被试内设置取得63.40%/86.85%的Top-1/Top-5,跨被试设置取得24.05%/53.45%的Top-1/Top-5;跨被试一项相对所比较的强基线UBP的12.4%/33.4%有提升。

神经表征在进入对比学习之前先被整理:批次内标准化统一特征尺度,低维适配器把两种模态压进同一个紧凑子空间。 低维瓶颈里同时施加跨模态相关正则,让对应维度尽量相关、非对角维度尽量去相关,从而压低冗余。 消融从50.15%的Top-1起步,加入图像与脑电两侧投影器后到55.10%,再加两侧适配器到58.25%,加入批次标准化到61.45%,加入幅相调制后为61.35%,最后叠加自适应温度到63.40%。

频域信息以条件调制的方式注入,而不是拼接到主干特征后面:每个样本的幅值均值、幅值标准差、相位余弦均值、相位正弦均值和相位圆方差被压成一个条件向量,用来预测缩放、偏置和置信门。 调制参数被约束在恒等扰动附近,并通过置信门做残差融合,避免噪声较大的频域线索直接主导最终表征。 在THINGS-EEG上,仅相位变体的提升大于仅幅值变体,幅值与相位合用再进一步;完整模型取得最佳Top-1,而更简单的频域变体取得最佳Top-5。

启示与展望

结果建立在THINGS-EEG的10名被试与THINGS-MEG的4名被试上,评测协议为200类零样本检索,并分别报告被试内与被试外两种设置;视觉一侧使用冻结的OpenCLIP编码器,默认骨干为RN50。读者若关心其他记录模态、其他类别规模或在线使用场景,这份材料没有给出对应证据。

频域分支只用了较紧凑的统计描述子,未充分刻画更丰富的时间-频率结构与更细的神经动态;频域增强为何对更难样本特别有利,仍需要更深入的神经科学解释和更强的统计验证;相位导出的控制信号与逐样本检索结果的相关性接近零,应视为优化控制线索而非难度估计器。此外,相位引导自适应温度主要提升最高排名的匹配,固定温度基线反而取得最高Top-5。