跳到主要内容
检索

# 模型蒸馏

3 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    英伟达发布 Nemotron for Science 后训练配方:药物代谢预测上,SFT 提 12%,强化学习再提 17%

    英伟达发布 Nemotron for Science,一套包含模型、数据集、工具与配方的集合,让研究团队把实验记录搭成可验证奖励环境,把通用多模态模型改造成领域专用科学智能体。以药物代谢预测为例,模型输入母体分子与代谢酶、输出代谢产物 SMILES,在 16,384 token 输出预算下,监督微调把 Nemotron for Science 的准确率提高 12%,强化学习后训练再提高 17%。配方还给出可选的教师模型蒸馏预热步骤,用于强化学习收敛偏慢的情形。

  2. arXiv

    GenoTrace 用密码子感知水印让基因组模型蒸馏后的学生模型仍可被检测,三种子实验达 94.5% 检出率

    该工作提出 GenoTrace——一种密码子感知的绿名单水印扩展,用密码子位置和物种特异密码子用法两个 token 级因子调制教师模型的生成偏置,使生成的合成序列在蒸馏训练更小学生模型后仍可被审计;在 GenomeOcean-500M 到 100M 的三种子实验中,联合配置取得平均审计分 17.88、固定阈值下 94.5% 检出率,在密钥感知 token 替换后保留 49.0% 检出(单种子普通水印对照为 0%),在机制靶向核苷酸编辑组合后保留 47.0%。

  3. arXiv

    Mid-Harness 在模型与执行框架之间验证候选动作,把 TMAX-9B 在 TerminalBench-Lite 上的 Pass@1 从 50.00% 提升到 68.03%

    该工作提出 Mid-Harness,在动作生成器与执行框架之间对候选动作进行采样与验证后再执行其中一个,在保持生成器和框架不变的前提下研究动作级测试时计算扩展:在 TerminalBench-Lite 上,用 GPT-5.6 Sol 作为验证器把 TMAX-9B 的 Pass@1 从 50.00% 提升到 68.03%(8 个候选动作),而弱验证下增加采样宽度收益很小,成对验证在自验证设置中表现最好,把强验证器的响应蒸馏进 TMAX-9B 可进一步提升 Pass@1,且动作级扩展与轨迹级扩展(Best-of-N 与 Sequential Refine)组合后能以更低的估计 token 成本取得更高成功率。

已读完全部报道