病理图像与多层分子谱共用一个嵌入空间:Multi-Embed 让形态与分子互相检索
核心概要
Multi-Embed 把多层级组织形态与多层分子谱放进同一个可解释的嵌入空间,使病理图像与分子谱之间可以双向推断和整合。多模态学习在跨模态推断与整合上仍存在方法学难点,而该框架在形态—分子推断、细粒度组织结构识别和时空轨迹建模等多类基准任务上报告了更优表现。评测覆盖 TCGA 中 12 种癌症的病理图像与 RNA-seq 配对数据,并在 CPTAC 等独立数据集上做外部验证。
深度剖析
病理切片与分子谱之间现在可以用一个统一嵌入空间做双向推断:既从形态预测分子,也从分子检索形态。 跨模态推断与整合此前受制于多模态学习中的方法学难点,形态与多层分子谱之间缺少统一的对应方式。 在 TCGA 12 种癌症的病理图像与 RNA-seq 配对数据上,形态相关基因表达预测与 HE2RNA、DeepPT 两个基准模型按癌种分别做五折交叉验证比较,并用独立 CPTAC 数据库做外部验证。
这个空间同时承载多层分子信息,使同一张病理图像可以对应到表达、蛋白丰度和突变等不同层。 跨模态推断此前需要为甲基化、蛋白丰度和基因组突变等不同分子层分别建立预测,各层之间没有共用的嵌入表示。 在 TCGA 上分别以 DEPLOY、WSI2RPPA 以及 CHIEF 和 MUSK 为基准,比较甲基化、蛋白丰度和基因组突变的形态相关预测;空间蛋白数据 ORION-CRC 上对 16 种蛋白与 OmiCLIP、ROSIE 比较。
嵌入空间还能用于空间聚类与轨迹推断,把组织结构、三级淋巴结构和恶性进展的空间轨迹一并读出。 空间聚类与轨迹推断此前分别由多模态模型 OmiCLIP、MISO、MUSE、SpaGCN 和单模态模型 GraphST、STAGATE、BayesSpace 等承担,组织区域与轨迹需要分开处理。 在 HER2ST 空间转录组数据上以调整兰德指数与多模态模型 OmiCLIP、MISO、MUSE、SpaGCN 及单模态模型 GraphST、STAGATE、BayesSpace 比较,在 TNBC 数据上则与单模态模型比较;人类扁桃体空间多组学数据上比较生发中心识别的 F1 分数。
启示与展望
已展示的范围是癌症病理图像与分子谱的跨模态推断与整合,数据包括 TCGA 12 种癌症的配对图像与 RNA-seq、CPTAC 外部验证集,以及 HER2ST、TNBC、ORION-CRC、人类扁桃体、胃癌与乳腺癌等空间数据集;代码与在线交互平台已公开。
可见文本以“更优表现”概括基准结果,未给出具体指标数值;各数据集的患者或样本数量列于补充表,正文预览未展开。跨模态推断的可靠性依赖训练数据覆盖的癌种与模态组合。
