35M参数的小蛋白语言模型DynamicsPLM:加入分子动力学监督,在ProteinGym上追平86倍大的序列模型
核心概要
DynamicsPLM把分子动力学模拟得到的残基级与残基对级生物物理量,作为额外预测目标接到一个35M参数的ESM-2编码器上,让模型在只输入序列时同时给出进化合理性与结构动力学扰动两种打分。此前序列语言模型靠扩大参数量来隐式学习结构约束,而纯动力学模型又丢掉了进化统计。在ProteinGym的201个蛋白上,该模型平均Spearman相关系数为0.398,在不超过1亿参数的模型中排名第一,并与部分参数量最高达其86倍的序列模型持平或更好。
深度剖析
一个只有3500万参数的蛋白语言模型,在只读序列、不看结构的条件下,对突变效应的排序能力进入了ProteinGym全部47个序列模型的前列,并在小模型组中排第一。 此前的序列语言模型主要靠把参数量扩到数亿乃至数十亿来隐式吸收结构约束,推理时看不到折叠蛋白的物理动力学。 在ProteinGym的201个蛋白、2,413,913个替换变体上,DynamicsPLM的平均Spearman相关系数为0.398、中位数为0.414,在47个模型中总排名第19,在不超过1亿参数的模型中排名第一,并优于Tranception L、RITA XL、Progen3和xTrimoPGLM-1B-CLM等更大模型。
在折叠稳定性这一项上,小模型的排序精度接近参数量约为其86倍的最大序列模型。 稳定性测定直接反映折叠相关的生物物理性质,是序列信号相对薄弱的一类任务。 在ProteinGym的66个稳定性测定上,DynamicsPLM平均相关系数为0.528、中位数0.507,在47个模型中排第二,仅次于30亿参数的VespaG;在不超过1亿参数的模型中排第一,比同骨干的ESM2-35M高0.09、比ESMDance高0.05。
模型的工作方式是在原有掩码语言建模目标之外,并联两个预测分子动力学量的输出头,推理时把两种打分相减合成一个突变效应分数。 纯动力学模型只学物理量、丢掉进化统计,多模态结构模型则要求推理时提供实验或计算得到的三维结构。 训练使用64,403条蛋白的分子动力学数据,去重后为61,959条,按50%序列一致性聚类后以58,832条训练、3,127条留出评估;每个残基取50个残基级性质、每对残基取13个相互作用特征,最终配置为语言建模损失权重0.7、动力学损失权重0.3。
启示与展望
评测范围是ProteinGym中长度不超过1,022个残基的201个蛋白、共2,413,913个替换变体,以及Tsuboyama数据集中412个蛋白、527,794个替换变体的ΔΔG排序;插入和缺失变体被排除,模型只接受序列输入。
在病毒蛋白上,ESMDance的平均相关系数为0.311,高于DynamicsPLM的0.268,原因是病毒序列快速分化使语言建模分量变弱,与动力学分数合成后反而低于单用动力学分数;在只有12个测定的Binding类别上,DynamicsPLM相对两个基线没有统计显著优势。作者指出固定权重的合成方式总会纳入进化项,并提出用同源深度等序列特征学习混合比例作为下一步。
