跳到主要内容
返回时间线
bioRxiv来源发表:

RNAtomy把三维几何写进RNA预训练:训练集只有约20万条,长程接触精度仍领先最强基线7个百分点

核心概要

RNAtomy是一种自监督RNA基础模型,预训练输入不再只是序列或二级结构,而是核苷酸间的距离与取向图,加上每个残基的骨架扭转、糖苷扭转和磷酸几何描述。它用双向Mamba与移位窗口注意力组成的混合主干联合重建这两类特征,在RNAcontact基准的长程接触预测中,冻结主干的RNAtomy-FB在L处精度为0.73,比最强基线高7个百分点。模型预训练只用了约20万条RNA,少于许多对比基础模型的数百万条序列。

AI-generated editorial illustration: RNAtomy: A Structure-Aware RNA Foundation Model for Transferable Structural and Functional Representations

深度剖析

RNA预训练开始直接学习三维几何,而不只从序列和二级结构中推断结构信号。 此前的RNA基础模型主要用序列或二级结构预训练,结构信息多以配对状态、点括号标注或注意力偏置的形式出现,不直接包含核苷酸间距离、相对取向和局部骨架构象。 在RNAcontact基准的长程接触预测上,冻结主干的RNAtomy-FB在L/10、L/5、L/2和L四个截断处精度分别为0.94、0.91、0.84和0.73,均排第一,比最强基线分别高5、3、3和7个百分点。

模型把成对几何图与残基级构象描述放进同一个自监督目标里联合重建。 成对几何图来自trRosettaRNA预测的距离与取向通道,残基描述来自DSSR提取的23维特征,包括六个骨架扭转和糖苷扭转的正弦余弦编码、两个磷酸几何量以及七个配对与二级结构上下文指示位。 预训练数据取自RNAcentral,按RNA类别采样并以95%序列一致性聚类,得到391,845条非冗余序列,覆盖16个RNA类别,长度限定在50到1024个核苷酸。

编码器用双向Mamba传播全局上下文,用移位窗口注意力补上局部内容相关的交互。 Mamba把序列建模的时间与空间开销从随token数平方增长降到线性增长,但缺少注意力那种依赖内容的token间交互。 主干由16个块组成,按四组重复排列,每组是三个双向Mamba块加一个移位窗口Transformer块,共12个Mamba块和4个窗口注意力块;成对几何图被切成不重叠的P×P图块后投影为token。

启示与展望

已展示的范围是七个下游任务上的评测,包括溶剂可及性、三维接触图、长程碱基配对、miRNA–靶标相互作用、17个RBP结合数据集、5′UTR平均核糖体负载和IRES识别,模型预训练于50到1024个核苷酸长度的RNA。读者对象是关心RNA表示学习与结构预测的研究人员和工程师。

模型目前用单一的静态结构描述表示每条RNA,而RNA本身具有柔性、可占据多种构象状态,其布居随离子、配体和分子伴侣变化,单张成对图和一组残基描述无法完整表达这种异质性。在17个RBP数据集上,RNAtomy的平均AUPRC为0.855,低于ERNIE-RNA的0.865,尽管它在多数单个数据集上更好或持平;长程碱基配对中PKF一类仍以RNA-km的0.61高于RNAtomy的0.56。