脑电转文字不再压成一个全局向量:原始图与草图双路监督,六名受试者平均分类达76.08%
核心概要
视觉诱发脑电转文字此前通常把整段脑电压成一个全局表示,再直接投影进大语言模型的隐藏空间,容易丢失颜色、纹理等细节。该工作改用原始图像与草图两路互补监督,学出两条脑电语义令牌流,再经分支专属的语义查询桥压成紧凑语义槽并转成大语言模型可读的软提示。在ImageNet-EEG上,六名受试者的平均分类准确率为76.08%,脑电转文字在LLaMA3-8B、Mistral-7B-v0.3与Qwen2.5-7B三个骨干上相对Thought2Text的ROUGE、BLEU、METEOR、BERTScore与GPT-4o充分性均有提升。
深度剖析
视觉诱发脑电转文字不再把整段脑电压成一个全局向量,而是保留原始图像与草图两条互补的语义令牌流。 此前的做法通常把脑电压缩成单一全局表示,再对齐到视觉嵌入、文本嵌入或大语言模型隐藏空间;单一通路的监督难以同时保住类别、轮廓、形状这类较稳定的结构线索和颜色、纹理、局部细节这类更易变的表观线索。 在ImageNet-EEG的六名受试者上,该编码器的受试者平均分类准确率为76.08%,在表中有逐受试者结果的对比方法里六名受试者均取得最高准确率;全受试者口径的总体准确率为58.94%。
两条令牌流不直接塞进语言模型,而是先各自聚合成紧凑的语义槽,再变成语言模型可读的软提示。 直接投影脑电特征会忽略神经、视觉与语言三种表示之间的分布差异,可能带来类别错误、细节缺失和泛化描述;分支专属的语义查询桥在迁移过程中保留双路组织,而不是用一次投影把它们压平。 在Mistral-7B-v0.3上,完整设置相对Thought2Text把ROUGE-1从30.6提到36.2、BLEU-4从6.1提到8.5、METEOR从26.2提到30.7、BERTScore从0.890提到0.900;去掉第三阶段脑电条件语言微调后,ROUGE-1降到17.2。
两条脑电分支确实学到了不同的视角偏好,而不是同一映射的复制。 下游消融只能说明两路互补,不能直接证明它们各自偏向对应视角;分支级跨视角对齐分析补上了这一层表示证据。 在全部1987个测试样本上,草图分支对草图视角的专化裕度为0.1900(95%置信区间[0.1871,0.1929]),原始分支对原始视角的裕度为0.0195(95%置信区间[0.0168,0.0223]);99.85%的样本呈正的草图偏好,61.40%呈正的原始偏好。
启示与展望
演示范围是ImageNet-EEG数据集上的视觉诱发脑电,采用图像不相交划分,含7959个训练、1994个验证与1987个测试样本,输入为128通道、440个时间采样点,受试者共六名。生成评测沿用Thought2Text提供的GPT-4生成单句描述作为文本监督,草图视角由高斯平滑加Canny边缘检测构造。作者提出后续将考察更广的数据集与更多样的神经记录条件。
作者列出的局限包括多阶段训练成本、只在单一脑电数据集与有限受试者群体上评测,以及缺少更广记录条件、电极配置与开放类别设置下的验证。受试者间标准差虽属中等,作者仍指出受试者差异不可忽略;原始视角的专化偏好较弱且更依赖类别,40个类别中仅25个为正。
