跳到主要内容
返回时间线
arXiv来源发表:

英伟达放出4GB小模型Nemotron 3.5 Bolt E4B:21项基准平均分最高,输出词数还更少

核心概要

英伟达发布开源小模型 Nemotron 3.5 Bolt E4B 4GB,目标内存占用约 4 GB,面向本地语音助手、交互角色与机器人/IoT 接口。它从 Gemma-4-E4B-it 出发,仅用强化学习后训练,强化多轮工具调用、指令遵循与输入接地。在 21 项基准上,它在推理与非推理两种模式下平均分均高于 Gemma-4-E4B-it 和 Qwen3.5-4B,平均输出词数也更少。

Source-provided article image: Nemotron 3.5 Bolt E4B 4GB: An Open and Efficient Small Language Model for Fast Conversational Agents
arXiv

深度剖析

英伟达发布了一个约 4 GB 内存占用的开源小语言模型 Nemotron 3.5 Bolt E4B 4GB,定位是能在本地设备上对话并执行动作的智能体底座。 它从 Gemma-4-E4B-it 继续后训练而来,而不是从头训练;目标是让本地部署的语音助手、交互角色和机器人接口在有限内存内同时保持对话与多轮工具调用能力。 在覆盖对话能力、多轮工具调用、指令遵循与控制、上下文鲁棒性、状态与动作接地的 21 项基准上,该模型在推理与非推理两种模式下平均分都高于 Gemma-4-E4B-it 和 Qwen3.5-4B,平均输出词数也少于这两个基线。

后训练完全依靠强化学习完成,没有加入监督微调阶段。 尝试中,用多教师数据做监督微调能提升多轮工具调用,但会让 Gemma-4-E4B-it 的对话质量和冗长度退化,因此最终版本只保留 RLVR 与 RLHF。 训练通过 NeMo-RL 与 NeMo-Gym 在工具调用、工具调用模式、指令遵循、指令层级、结构化输出与自由格式等环境中进行,每个样本同时以推理和非推理模式使用,批次中保持 2:1 的非推理与推理样本比例。

发布包附带 DFlash 并行草稿模型,用推测解码加速生成。 草稿器一次前向提出全部草稿词元,再由目标模型并行验证,验证保持目标模型的输出分布。 在开启推理、并发为 1 时,DFlash 在 RTX PRO 6000 上把每用户解码速度提升 2.7 倍,在 DGX Spark 上提升 3.6 倍;并发为 8 时两者分别为 2.7 倍和 2.9 倍。

启示与展望

评估覆盖 21 项基准的推理与非推理两种模式,并补充了虚拟交互角色、设备端语音助手和聊天三类场景的定性实测;量化对比在 Q4_K_M 及 IQ4_XS、IQ4_NL 等变体间进行,推测解码速度在 RTX PRO 6000、DGX Spark、RTX 5070 与 RTX Spark N1X 上测量。

后训练只用英文数据,模型在 MMLU-ProX 上出现轻微但一致的多语言知识与推理下降,机器翻译质量则基本保持;视觉能力也有轻微但一致的退化,单独训练视觉编码器未带来明显改善,恢复视觉能力被列为后续工作。AudioMC 中 23.36% 的用户轮次超过模型 30 秒的语音输入上限,53.1% 的对话至少含一个这样的轮次,因此其语音结果不覆盖完整无限制对话。