GenNA把自然语言注释当作生成条件:只给10个核苷酸前缀,序列恢复就高于Evo2-7B与GENERator-v2
核心概要
核苷酸生成模型此前主要靠序列前缀或结构化标签控制输出,难以表达复杂的基因功能语义。GenNA把物种、基因名和功能注释等自然语言提示放在序列开头,用统一的跨模态分词器在2221种真核生物、约4160亿字符的语料上从头预训练,以自回归方式同时建模序列与注释。在序列恢复基准上,仅给10个核苷酸前缀时,带完整注释的GenNA在RNA和DNA上平均比对一致性分别为0.465和0.455,高于Evo2-7B与GENERator-v2;其优势随前缀变长而减弱。
深度剖析
核苷酸序列生成多了一条以自然语言功能注释为条件的控制通道,模型可以在几乎没有序列上下文时依据基因功能描述生成候选序列。 此前的生成模型主要依赖序列前缀、局部上下文或表达能力有限的预设结构化属性,自然语言注释作为主要生成条件此前探索较少。 在2000条人类mRNA和1000条基因组DNA的序列恢复基准上,只给10个核苷酸前缀时,带完整注释的GenNA平均比对一致性为RNA 0.465、DNA 0.455,高于Evo2-7B的0.440和0.439以及GENERator-v2的0.433和0.432。
模型把注释、结构标签和核苷酸放进同一个自回归序列里,注释在生成过程中持续参与条件约束,而不只是输入端的附属信息。 做法是训练一个6000词表的跨模态字节对编码分词器,把高频功能短语、XML风格标签片段和局部核苷酸模式映射到共享的离散词元空间,再用因果语言建模目标预测下一个词元。 在100条随机抽样序列的编码区生成中,提示词元获得的中位注意力比例为0.673,四分位距0.599至0.744,而5′非翻译区上游为0.028,四分位距0.017至0.045。
注释带来的增益在RNA上比DNA更明显,说明注释条件与不同分子类型的耦合强度不同。 在同样的恢复基准上比较完整注释、仅基因标识和无注释三种提示条件,完整注释始终优于另外两种。 10个核苷酸前缀下,RNA三种条件的平均比对一致性为0.465、0.452和0.433,DNA为0.455、0.446和0.437;注释的额外贡献在RNA上随前缀长度从0.013升到0.061,在DNA上为0.009到0.018。
启示与展望
已展示的范围是计算评估:序列恢复基准使用2000条人类mRNA和1000条基因组DNA,生成实验覆盖tRNA、rRNA和组蛋白编码序列,并以tRNAscan-SE、Rfam协方差模型和理化性质分布作为判据。作者提出后续用低秩适配等参数高效微调把模型扩展到更复杂的下游任务。
所有生成结果目前都缺少系统性湿实验验证,结构兼容性与组蛋白编码序列的合理性仍需实验确认。生成分布比自然参考分布更集中,存在分布锐化,作者将其部分归因于温度缩放和top-p采样截断低概率尾部,并指出需要更精细的采样校准。分词策略与上下文长度仍有改进空间,规模定律对性能上限的影响尚未系统探索。
