单细胞嵌入不再靠基因注意力:scUNVEIL用约9200万细胞预训练,线性读出细粒度PBMC亚型达80.6%宏F1
核心概要
scUNVEIL把单细胞RNA测序的预训练目标改成“预测同一测量在更高UMI深度下会看到什么”,即测量富集,并用残差多层感知机直接处理计数向量。它在约9200万个人类细胞上无标签预训练,在Hao等2021年PBMC数据集的58个亚型线性评估中取得80.6%宏F1,高于最强对照基础模型scFoundation的70.1%,同时单CPU生成全部161,764个细胞的嵌入耗时1分41秒。该数据集被排除在预训练语料之外,因此结果属于零样本迁移。
深度剖析
单细胞RNA测序的预训练不必依赖对数千个基因token的注意力,一个直接读取计数向量的残差多层感知机就能给出可线性读出的细胞嵌入。 此前主流做法是scGPT、scFoundation、Geneformer、UCE等基于transformer的基础模型,训练与部署成本高,而独立评估发现它们在细胞类型注释等简单基准上可被更简单的基线追平或超过。 在Hao等2021年PBMC参考数据集的58个亚型、161,764个细胞、8名供体、100次供体划分上,2048维scUNVEIL嵌入取得80.6±2.1%宏F1、79.7±2.8%平衡准确率和91.6±0.6%总体准确率,三项指标均为所评估方法中最高。
模型把每个细胞当作一个定长计数向量,一次前向传播同时给出可复用的细胞嵌入和测量富集后的基因表达估计。 训练时把每个细胞观测到的UMI随机分成保留输入与留出目标两部分,用留出分子的经验基因频率分布作为软目标做分类交叉熵,等价于预测一个随机留出UMI的基因身份。 预训练语料为CELLxGENE Census中约9200万个智人细胞、60,000个基因特征,未使用标签、供体元数据或目标深度条件;模型为16个残差块、嵌入维度2048的多层感知机。
测量富集目标本身贡献了大部分增益,而不是仅靠非线性容量。 去掉全部残差块的线性嵌入变体只保留输入投影、最终层归一化和输出投影。 该线性变体仍达到76.8±1.8%宏F1,高于所有非scUNVEIL方法;在同一9200万细胞语料上拟合的2048维PCA为69.1±2.5%宏F1。
启示与展望
已展示的范围是:在约9200万人类细胞上无标签预训练,并在被排除于预训练语料的Hao等2021年PBMC数据集上做零样本线性注释评估,另加四项带外部测量标签的补充任务;作者提出前瞻性浅测序研究才能确定可实现的测序节省。
作者说明测量富集是推断过程而非新的物理测量,无法恢复既未观测也不能由预训练群体预测的细胞特异特征;它不消除批次效应等技术失真,预测表达值应作为假设生成工具而非差异表达的确认证据。形态学与谱系恢复任务中PCA缩小了优势,1%保留深度下细胞面积与圆形的平均R²仅0.039和0.038;补充任务经探索性筛选选出,不估计未选表型的表现。
