脑电重建图像不再只靠对齐:让图像教师监督去噪过程,THINGS-EEG七项指标全面超过同骨干基线
核心概要
脑电到图像重建长期靠把脑电对齐到预训练视觉嵌入,再以此条件驱动生成器。该工作用检索实验说明,对齐变好并不等于重建变好:检索指标最多提升77,高层重建指标增益有限,低层保真度没有一致改善。为此先训练一个以DINOv2特征为条件的图像教师,把固定的编码器特征转成去噪过程中的中间表示,再让脑电条件的学生生成器在去噪时对齐这些动态目标,推理时丢弃教师。在THINGS-EEG十个被试上,该方法在全部七项指标上优于同一Brain-HiVE嵌入、无表示对齐的SiT-XL/2基线。
深度剖析
脑电到图像重建的改进方向从加强输入条件转向直接监督生成过程本身。 此前多数方法把脑电对齐到视觉表示,再用得到的嵌入去条件化图像生成器,例如以SDXL配IP-Adapter,或微调以脑电表示为条件的视觉自回归模型。 用近期脑电-图像对齐方法的表示去条件化一个SiT生成器,相对基线条件检索性能最多提升77,而所评估的高层重建指标增益有限,低层保真度没有一致改善。
监督信号改由一个图像条件教师提供,它在去噪过程中把视觉特征表达成生成器内部可跟随的中间表示。 直接对齐预训练视觉编码器特征的做法,即表示对齐REPA,在脑电条件下中间表示与DINO特征仍对齐很差。 教师与学生共用SiT-XL/2架构,教师以冻结DINOv2特征经投影注入每个SiT块,训练一次后冻结并在所有被试间复用;学生以脑电嵌入为条件,将第8块与教师第25块做逐token余弦对齐,推理时只保留学生。
启示与展望
结论建立在THINGS-EEG十个被试与THINGS-MEG四个被试的离线重建评测上,指标为像素相关、结构相似度与AlexNet、Inception、CLIP、SwAV两类相似度;THINGS-MEG因被试仅四人只报告描述性结果,未做显著性检验。
检索提升为何不能传导到重建仍未回答,哪些视觉线索帮助检索区分图像、哪些帮助生成恢复外观被列为开放问题;生成器目前仍对每个被试单独全量微调。
