英伟达发布 Nemotron for Science 后训练配方:药物代谢预测上,SFT 提 12%,强化学习再提 17%
核心概要
英伟达发布 Nemotron for Science,一套包含模型、数据集、工具与配方的集合,让研究团队把实验记录搭成可验证奖励环境,把通用多模态模型改造成领域专用科学智能体。以药物代谢预测为例,模型输入母体分子与代谢酶、输出代谢产物 SMILES,在 16,384 token 输出预算下,监督微调把 Nemotron for Science 的准确率提高 12%,强化学习后训练再提高 17%。配方还给出可选的教师模型蒸馏预热步骤,用于强化学习收敛偏慢的情形。
深度剖析
科学智能体需要逐步验证,否则错误会在多轮规划、模拟与自纠中累积,延迟和算力成本也随持续运行放大;Nemotron for Science 把后训练做成可复用的配方,让团队用自己领域的实验数据提升模型准确率。 此前的通用指令微调模型在专门科学任务上仍有提升空间,而领域适配通常缺少把实验记录直接变成训练信号的现成路径。 在药物代谢强化学习环境、16,384 token 输出预算下,监督微调使 Nemotron for Science 准确率提高 12%,强化学习后训练在此基础上再提高 17%。
配方从一张实验记录 CSV 出发,把每条记录改写成问题与参考答案的对话样本,参考答案本身充当自动评分器,因此不需要人工偏好标注。 奖励信号直接来自实验数据,而不是人工打分;评分层可以按任务替换,从简单的序列相似度到化学信息学库、分子模拟器乃至在线自主实验室。 代谢示例中,模型收到母体分子与酶后提交预测代谢产物,验证器用 Morgan 指纹(半径 2、2048 位)的 Tanimoto 相似度比较预测与参考结构,分数范围 0 到 1。
训练用分组相对策略优化(GRPO)配合低秩适配器(LoRA)微调,模型先逐步推理再通过工具调用提交答案,每次提交由验证器自动打分,形成稠密奖励。 训练循环、奖励服务器、执行框架与 rollout 工作进程完全自包含,因此同一流水线可迁移到任何能返回标量奖励的领域。 蒸馏预热时,Claude Sonnet 5.5 在 1,934 条训练提示上生成 rollout,按 Tanimoto 阈值不低于 0.7 过滤出 1,123 条高质量推理轨迹,作为较小模型的监督微调语料。
启示与展望
演示范围是药物代谢预测这一任务:输入母体化合物与代谢酶,输出代谢产物 SMILES,数据取自 MetxBioDB 中经实验确认的生物转化反应记录;准确率提升数字对应 16,384 token 输出预算下的该强化学习环境。配方面向希望用自有实验记录后训练 Nemotron 模型的研究团队,建议从定义狭窄的任务开始,先验证评分方法,再随证据扩展工作流。
12% 与 17% 的提升是在单一药物代谢环境、固定 16,384 token 输出预算下测得的,不能直接外推到其他科学任务。蒸馏预热被描述为可选步骤,用于基础模型需要能力提升或强化学习收敛偏慢的情形;配方也指出,需要用留出集评估来判断任一训练路径是否真正超过起始模型。
