分子语言模型补上结构课:SAGA只改训练,检索R@1最高提升7.82个百分点
分子语言模型靠配对结构-文本做对比学习,却把结构相近的非匹配分子和毫不相干的分子当成同一类负样本。SAGA在训练时用中心核对齐把神经分子嵌入的两两关系对齐到指纹Tanimoto相似度,不增加参数,推理时也不需要指纹。在MolCA与Atomas上,分子-文本检索各项指标全部提升,Atomas-L的文本到分子R@1从43.15升到50.97,非精确检索也更多落在结构更近的类似物上。
分子语言模型靠配对结构-文本做对比学习,却把结构相近的非匹配分子和毫不相干的分子当成同一类负样本。SAGA在训练时用中心核对齐把神经分子嵌入的两两关系对齐到指纹Tanimoto相似度,不增加参数,推理时也不需要指纹。在MolCA与Atomas上,分子-文本检索各项指标全部提升,Atomas-L的文本到分子R@1从43.15升到50.97,非精确检索也更多落在结构更近的类似物上。
投机解码的草稿模型该看哪几层隐藏状态,现在可以按信息量和冗余度来选,而不是沿用固定的位置规则;在Qwen3-4B-Instruct上,选出的三层组合平均接受token比EAGLE3默认规则高约0.085。
该工作提出融合MAE、JEPA与SimCLR三种自监督目标表示的框架,并设计共享主干加目标专用分支的多分支架构,在约25000个频谱图与CSI样本上预训练后,于通信、感知与定位六个下游任务中,等输出维度下融合在全部六项任务上优于所评估的单目标编码器且参数约为其三分之一,多分支架构在单编码器参数预算内保留了大部分融合收益,表示分析显示各目标贡献互补且增益多保留在与MAE表示子空间正交的分量中。
已读完全部报道