分子性质预测不再只靠结构:先用15.4亿次分子预训练,再拿642个稀疏活性测定做中间监督
核心概要
分子性质预测此前多从结构自监督直接跳到端点微调,中间那批稀疏实验活性数据被跳过。GRASP 用 93.5M 参数的图 Transformer 分两步训练:先在 15.4 亿次 ZINC20 分子呈现上做替换词元检测,再在 642 个 ChEMBL 测定上适配。在 23 个聚类留出的 OpenADMET 端点上,全量微调平均 MAE 为 0.374,低于 CheMeleon 的 0.383、ECFP4-LightGBM 的 0.408 和 Chemprop 的 0.440;加入 ChEMBL 适配把平均 MAE 从 0.407 降到 0.374,23 个端点中 21 个改善。
深度剖析
分子性质预测的预训练流程多是从结构自监督直接进入端点微调,中间那批稀疏但真实的实验活性数据没有被当作一个训练阶段使用。 此前的常见做法只用 ZINC 这类结构库做自监督,然后直接微调到具体端点,ChEMBL 中不完整的测定矩阵所携带的结构与实验行为对应关系被跳过。 在 23 个聚类留出的 OpenADMET 端点上,全量微调的平均 MAE 为 0.374,低于 CheMeleon 的 0.383、调参后的 ECFP4-LightGBM 的 0.408 和 Chemprop D-MPNN 的 0.440,在 23 个端点中分别有 12、16、22 个端点误差更低。
模型分两个阶段学习,第一阶段只学分子结构,第二阶段把稀疏的实验活性当作监督信号接进来。 第一阶段用替换词元检测:一个三层生成器按 0.25 的概率把原子词元换成 MASK 并预测原词元,12 层判别器再判断每个位置是否被替换过,训练语料是 15.4 亿次 ZINC20 分子呈现。 第二阶段在 511,898 个 ChEMBL 36 分子和 642 个结合或功能测定上微调 80,000 步,标签取自活性注释或 pChEMBL 阈值,下游使用固定的 50,000 步编码器快照。
把 ChEMBL 适配阶段加进来,比只用结构预训练的检查点在多数端点上误差更低。 只用结构预训练的 GRASP-S1 平均 MAE 为 0.407,加入 ChEMBL 适配后降到 0.374,相对下降 8.0%。 在同样的 23 个 OpenADMET 端点和同样的三个聚类留出划分上,适配后的模型在 21 个端点误差更低,最大相对改善出现在 ASAP 溶解度 24.2%、ExpansionRx 血浆结合 19.5%、ASAP LogD 16.4% 和 ExpansionRx 脑结合 14.3%。
启示与展望
报告的范围是 23 个聚类留出的 OpenADMET 端点和 22 个 TDC ADMET 任务,覆盖清除率、溶解度、渗透性、血浆与组织结合、外排、PXR 活性以及抗病毒 Mpro 效力。适配方式包括全量微调、LoRA 和冻结层混合,其中全量微调平均 MAE 最低。结构重叠分析显示,剔除与 ChEMBL 适配数据相同或 ECFP4 相似度不低于 0.70 的测试分子后,平均 MAE 从 0.374 变为 0.372 或 0.369,对 ECFP4-LightGBM 的优势仍在。
GRASP-S1 与 GRASP 的对比衡量的是完整 ChEMBL 适配阶段,并未把测定监督与额外优化或对 ChEMBL 分子分布的暴露分开。结构重叠分析检验的是分子暴露,不能确定 ChEMBL 与下游端点之间是否存在语义相关的测定监督。RTD 与 MLM 的对比在 GRASP-Small 配置下进行,比较的是已实现的预训练配方而非单独隔离预训练规模。主要下游实验使用 50,000 步的 Step-2 快照,未做系统的下游检查点敏感性研究。TDC 上与已发布 CheMeleon 分数的比较是描述性的,两者未在同一配对实验流程中训练和选择。
