脑MRI基础模型不再只吃一种序列:1.55M扫描训练,少样本下胶质增生与多发性硬化提升最高15%
核心概要
纽约大学团队发布Neuro-JEPA,一个把T1w、T2w、FLAIR三种脑MRI序列编码进同一架构的多模态基础模型,预训练使用来自428,647次检查的1,551,862例扫描。它在三个医疗系统和12个公开数据集共47项下游任务上整体优于BrainIAC、VoCo与NeuroVFM,且预训练数据量不到NeuroVFM的三分之一;在标注稀缺的少样本设置下,胶质增生与多发性硬化的AUROC提升最高达15%,NACC阿尔茨海默病任务上约提升15%。
深度剖析
脑部MRI基础模型此前大多只处理单一序列,多序列方法也通常要求测试时三种序列齐全,因此无法判断联合编码是否真的优于最好的单序列模型。 既有做法要么单序列建模,要么在多模态输入齐全的条件下评估,缺少受控的单模态与多模态对照,多模态带来的增益难以与测试时数据更多这一因素区分。 在三个医疗系统与12个公开数据集共47项任务上,Neuro-JEPA在多数比较中优于BrainIAC、VoCo和NeuroVFM,公开数据集上平均AUROC提升4.4–6.4%、AUPRC提升6.4–9.4%,且预训练扫描量少于NeuroVFM。
模型把三种序列放进同一个网络,用掩码区域的潜在表示预测来学习,而不是重建像素。 该方法基于联合嵌入预测架构JEPA,即让在线编码器根据可见区域预测被遮挡区域的潜在表示,目标由动量编码器给出,避免三维图像插值带来的开销。 预训练数据为2009至2025年间1,551,862例T1w、T2w、FLAIR扫描,来自282,693名患者;模型在ViT-Base上激活86M参数、总参数122M,与对比模型的参数量相当。
三项设计改动让JEPA在神经影像上稳定工作:多尺度掩码、稀疏专家路由,以及压低背景体素的损失权重。 直接套用视频领域的V-JEPA 2配置在脑影像上表现不佳,因为沿深度轴的强掩码会掩盖小病灶所需的高频细节,而颅骨剥离后约40–60%体素为背景。 逐步消融显示,多尺度掩码单独带来平均AUROC +1.5%、AUPRC +2.5%,加入MoE再增3.9%与3.4%,前景感知L1损失再增0.9%与2.8%。
启示与展望
评估覆盖三个医疗系统与12个公开数据集共47项任务,包含单模态、多模态、少样本、跨队列以及未参与预训练的扩散加权成像。预训练仅使用T1w、T2w与FLAIR三种序列,实验采用降采样扫描与固定图像块尺寸。模型权重以非商业、非衍生、非临床的学术研究许可发布,代码公开。
内部NYU队列上的优势明显大于外部MGH队列,提示单系统预训练存在局限;作者指出需要更多机构、人群与采集异质性的数据。扩散加权成像、磁敏感加权成像、增强MRI、功能MRI与CT等序列尚未纳入预训练,更高空间分辨率与替代分块策略留待后续评估。
