分子语言模型补上结构课:SAGA只改训练,检索R@1最高提升7.82个百分点
核心概要
分子语言模型靠配对结构-文本做对比学习,却把结构相近的非匹配分子和毫不相干的分子当成同一类负样本。SAGA在训练时用中心核对齐把神经分子嵌入的两两关系对齐到指纹Tanimoto相似度,不增加参数,推理时也不需要指纹。在MolCA与Atomas上,分子-文本检索各项指标全部提升,Atomas-L的文本到分子R@1从43.15升到50.97,非精确检索也更多落在结构更近的类似物上。
深度剖析
分子语言模型的嵌入空间开始按化学相似度的连续梯度组织,而不只按配对与非配对二分。 此前的二元对比目标把结构相关的非匹配分子与无关分子归入同一负类,使精确匹配与无关化合物之间的相似度连续谱未被利用。 在ChEBI-20上,三个骨干的分子-文本检索在两个方向、全部报告指标上均提升:MolCA文本到分子R@1由31.48升至35.82,Atomas-B由33.56升至40.44,Atomas-L由43.15升至50.97。
做法是在训练损失里加一项关系对齐约束,让神经嵌入的两两相似度模式去匹配指纹的两两相似度模式。 对齐用中心核对齐(CKA)度量,它对维度、正交变换和各向同性缩放不敏感,因此不需要指纹与嵌入逐坐标对应,也不新增可训练参数。 MolCA在64个分子的批内计算CKA;Atomas另设一条与特征队列并行的指纹队列,在128个样本上计算,训练批大小仍为16。
检索收益不只是配对排序变好,非精确命中还向结构更近的类似物移动。 去掉每条查询的精确目标后,MolCA文本到分子的前3个非精确邻居平均Tanimoto相似度由0.235升到0.311,反向由0.211升到0.272。 MolCA在76.3%的验证查询上前3邻居更近(单侧Wilcoxon符号秩检验),反向为73.8%,Atomas-B与Atomas-L在两个方向上也呈同样趋势。
启示与展望
结论建立在二维指纹先验之上,评测限于ChEBI-20检索、MoleculeNet骨架划分性质预测与生成基准,涉及MolCA与Atomas两个模型家族。性质预测时分子编码器被冻结,只训练两层预测头,因此反映的是表示本身携带的信息。
结构先验并非对每个端点都有益:Atomas-B在HIV、Atomas-L在MUV上出现下降,20个ADMET数据集中有5个分类集的相关性为正但不显著。生成与描述结果来自单次运行消融,作者也指出该先验对以三维构象或靶点特异性结合为主的任务是否最优尚未确立。
