跳到主要内容
返回时间线
arXiv来源发表:

扩散语言模型Clover开源权重:智能体基准领先,单卡GB300解码达680 tokens/s

核心概要

DiffuSpace发布Clover-35B-A3B-Preview,一个总参数350亿、每token激活30亿的混合专家扩散语言模型,把门控Delta网络改造成块扩散结构,让已生成上下文以循环记忆保存、当前块内token双向交互。在统一评测协议下,它在七项智能体指标上领先,SWE-bench Verified得73.6、Terminal-Bench 2.1得51.7;内部智能体负载上,单块NVIDIA GB300、BF16、批大小为1时报告生成速度680 tokens/s。

AI-generated editorial illustration: Clover-35B-A3B-Preview Technical Report

深度剖析

扩散语言模型现在能在智能体任务上正面竞争:Clover在七项智能体基准上均居首位,其中SWE-bench Verified为73.6、Terminal-Bench 2.1为51.7、SWE-Pro为46.5。 此前的公开扩散模型在智能体任务上落后于自回归基线,复现比较显示LLaDA2.2 flash与DiffusionGemma在Terminal-Bench 2.1和SWE-bench Verified两项上均低于所评测的Qwen基线。 主表18项基准在统一评测协议下复现,各基线采用官方推荐解码配置;编码智能体任务中Terminal-Bench用Terminus 2、SWE-bench用Codex作为执行框架,每个任务评测三次取平均。

模型把已完成上下文压进固定形状的循环记忆,当前块内的token则通过双向注意力互相读取,两类信息在同一个softmax里竞争。 门控Delta网络原本是因果循环,只能汇总token左侧的信息;块扩散又需要同一块内尚未定稿的token彼此可见。 BD-GDN在干净路径上保留门控delta规则递推,在噪声路径上读取块边界处的固定前缀状态,并与块内局部logit一起归一化;历史只占一个softmax条目,因此引入可学习的块大小校准项,另加一条零初始化的右侧上下文卷积支路,30层BD-GDN共新增740,160个参数。

解码端用同一模型的因果路径校验扩散一步给出的草稿块,按熵阈值决定接受多长的前缀。 固定置信度阈值提交token时,草稿质量与验证成本是分开的两件事。 在单块NVIDIA H200、BF16、批大小1、块大小16的设置下,MATH-500上Clover解码吞吐为465.2 tokens/s,低于Qwen3.6-35B-A3B配DFlash 2的604.3;智能体回放上为556.6对396.7,日常聊天为356.7对286.5。

启示与展望

评测覆盖18项基准,智能体部分为七项,编码智能体任务每个评测三次取平均;速度数字分别来自单块H200与单块GB300、BF16、批大小1的设置。权重、监督微调代码与推理引擎随发布提供,其中包含在消费级设备上本地运行Clover的专用基础设施。

作者说明智能体回放只测推理速度,不执行命令,也不衡量任务成功;速度对比涉及不同目标模型、验证树与解码策略,无法单独分离草稿算法的作用。知识类难题、竞赛数学与独立代码生成仍是作者列为可改进的方向,内部决策集在开发中被反复使用,只能作为能力检查而非新的盲测。