扩散语言模型放大到350亿参数:Clover-35B-A3B-Preview在智能体基准上超过同规模自回归模型,单卡生成680 tokens/s
核心概要
DiffuSpace 发布 Clover-35B-A3B-Preview,一个总参数350亿、激活参数30亿的混合专家扩散语言模型,并支持思考模式。它要回答的是扩散语言模型放大后能否既保持竞争力又保留全局并行生成的速度优势;在智能体编码与工具使用等基准上,它超过同规模自回归模型 Qwen3.6-35B-A3B,在单张 NVIDIA GB300、BF16、批大小为1的内部智能体负载上达到680 tokens/s。
深度剖析
扩散语言模型在放大到350亿总参数后仍能与同规模自回归模型正面比较,并同时保留更快的生成速度,这是 Clover-35B-A3B-Preview 给出的答案。 此前的 Dream 7B 已经表明扩散语言模型可以与自回归模型抗衡,但放大之后能否维持竞争力、同时保住全局生成的速度优势,是一个更基本的问题。 在多项基准上,Clover-35B-A3B-Preview 超过同规模自回归模型 Qwen3.6-35B-A3B,且生成显著更快;在比较的全部六个智能体基准上,它在被评估模型中得分最高。
模型把历史记忆的读取与当前块内的去噪分开计算,使块级并行去噪更适合长上下文。 此前的门控 DeltaNet 按因果方式处理序列,而块扩散需要在同一块内做双向交互。 已生成的上下文被压缩进门控 DeltaNet 的循环状态,当前块内的 token 通过细粒度双向 softmax 注意力交互,历史记忆的读出作为一个独立信息单元参与同一次 softmax,并加入可学习的块大小校准与零初始化的右侧卷积分支。
在智能体任务上,速度本身构成能力,因为智能体按决策、执行、反馈、调整的循环推进,每次生成的延迟都会在流水线中累积。 更快的生成缩短了这一反馈回路,使开发者更早看到应用预览,智能体更快响应执行结果并进入下一步。 在单张 NVIDIA H200 GPU 的智能体任务上,Clover 达到515 tokens/s,而 DFlash2 加速的设置是365 tokens/s;在包含49个任务、每个任务三次尝试的完整评测中,Clover 的智能体执行时间中位数为1.52秒,Gemini3.6 Flash 为8.86秒。
启示与展望
已展示的范围是:一个总参数350亿、激活参数30亿的混合专家扩散语言模型,在公开基准与内部智能体负载上的评测,以及 INT4 量化后在 NVIDIA RTX 5070 Ti、16GB 显存上的端侧部署。读者对象是关注语言模型架构与智能体推理成本的工程师和研究人员。发布方表示将继续推进扩散语言模型的规模化、多模态能力、长程任务稳定性与推理效率优化。
速度数字来自内部智能体负载与指定硬件配置,包括单张 NVIDIA GB300、BF16、批大小为1,以及单张 NVIDIA H200 上与 DFlash2 加速设置的对比,并非跨平台的通用测量。基于该模型的决定模型尚未发布,计划稍后推出;智能体执行框架与桌面编码客户端也仍在开发中。
