跳到主要内容
返回时间线
arXiv来源发表:

Nahual把文字和三维分子放进同一条序列:一套权重同时做12项化学任务,晶体结构预测超过DiffCSP

核心概要

多伦多大学等机构发布的Nahual把文字和三维分子写进同一条自回归序列,用“下一词元扩散”在生成每个原子坐标时只参考前面已确定的干净词元。它在12项化学任务上联合训练成一套权重,在MP-20晶体结构预测上取得79.9%的MatchRate@20,高于DiffCSP的77.9%,并在QM9性质条件生成上达到所报告的最优水平。

Source-provided article image: Nahual: A Sequence Model for Language and Atoms
arXiv

深度剖析

一个只解码的自回归模型可以同时接收和输出任意长度的文字与三维分子,用同一套权重覆盖从过渡态搜索到金属表面吸附的12类化学任务。 此前文字问答由大语言模型处理,三维结构由分子、晶体等专用模型预测,两者靠智能体调用工具拼接;纯文本大模型把坐标写成数字串,会丢失三维连续性并拉长上下文。 在MP-20晶体结构预测上,Nahual的MatchRate@20为79.9%,专用扩散模型DiffCSP为77.9%;在QM9性质条件生成上,配合自奖励采样在全部六项性质上优于JODO与PropMolFlow。

模型把每个原子表示成一个离散元素类型加一个连续三维坐标,坐标由扩散过程去噪得到,而不是拆成逐位数字。 此前的逐词元扩散头只通过一个固定大小的条件向量看到前文,扩散强迫则在含噪上下文上训练去噪器。 下一词元扩散让因果Transformer在干净的前文条件下对当前坐标去噪,推理时可复用标准KV缓存;与逐词元MLP扩散头相比,它在过渡态、非共价二聚体、微溶剂化、晶体、构象和合金表面等需要精确几何的任务上更准,在金属配合物和MOF吸附上持平。

启示与展望

评测覆盖12类任务,包括过渡态搜索、非共价相互作用、镧系配合物、微溶剂化、晶体结构预测、构象搜索、金属表面与多孔材料吸附、MOF与分子性质预测、条件分子生成和NEB轨迹,多数为分布内评测并沿用已有数据划分。作者提出的下一步是补充更多监督与无监督几何数据、引入可验证任务上的强化学习,以及用少步扩散降低推理成本。

作者报告Nahual会灾难性遗忘自然语言,每个任务使用单一固定提示模板,学到的是任务模式而非稳健的指令跟随;容量在任务混合上分布不均,最大的ODAC25与GEOM-DRUGS欠拟合,NCI与QCG-10在训练中开始过拟合。数值性质预测因用交叉熵监督数字而落后于连续回归器;在ODAC25上,原子数超过约100后中位adsRMSD从1 Å以下升到4 Å以上,空间位阻冲突是最常见失败;推理成本明显高于专用基线,因为每个原子都要经过第二栈的多步扩散ODE。