首个面向代码生成的扩散大模型系统性实证研究:7个扩散模型在MBPP+上以79.1%超过最佳自回归基线的73.3%,但开源扩散模型整体仍未稳定追平强自回归模型
核心概要
该研究对7个代表性扩散大语言模型(含闭源Mercury-Coder-Small)与4个开源自回归基线在HumanEval/HumanEval+、MBPP/MBPP+、HumanEval-X、LiveCodeBench、RepoQA、RepoBench-C及SWE-Bench Verified上做了代码生成中心的实证评测,发现扩散模型能力有前景但不均衡:闭源扩散模型在多数基准上最强(如MBPP+ 79.1%对最佳自回归基线73.3%),代码专用开源扩散模型优于通用扩散模型,开源扩散模型整体尚未稳定追平最强自回归基线,但在若干函数级基准上已具竞争力,且所选扩散与自回归模型组解决的问题集合部分不重叠(3
深度剖析
扩散大模型在代码生成上呈现有前景但不均衡的能力,闭源扩散系统在多数评测基准上领先,代码专用开源扩散模型优于通用扩散模型。 此前缺乏以代码生成为中心、跨多个扩散模型家族与自回归基线的系统评测;该研究首次联合考察跨模型有效性、推理设置敏感性、效率权衡与长上下文行为。 在HumanEval/HumanEval+、MBPP/MBPP+、HumanEval-X、LiveCodeBench上以pass@1评测,随机设置重复五次报告均值与标准差;例如Mercury-Coder-Small在HumanEval 85.4%、MBPP 93.7%、MBPP+ 79.1%,Dream-Coder-v0-Instruct-7B较Dream-v0-Instruct-7B在HumanEval提升19.5个百分点。
所选扩散与自回归模型组解决的问题集合部分不重叠,提示两类范式在评测设置下具有互补的问题覆盖。 以往比较多聚焦总体准确率高低,该研究进一步用Venn图刻画模型组覆盖差异,并给出两个成功/失败模式不同的示例。 在HumanEval、MBPP与LiveCodeBench 2410–2504合并问题上,367个问题被两组共同解决,149个仅被所选自回归模型解决,105个仅被所选扩散模型解决;示例为个案说明,作者明确不据此断言范式因果。
在共同1k–8k输入范围内,三个被评测扩散模型在RepoQA与RepoBench-C上的退化比一个同量级自回归基线更平缓。 将长上下文代码理解纳入扩散模型评测,并同时用检索(RepoQA)与跨文件补全(RepoBench-C)两个角度考察。 Llama-2-7B-chat-hf在RepoQA从3k的46.2%降至4k的9.0%、8k的1.2%;RepoBench-C从4k到8k的EM由22.1%降至3.4%、ES由62.8%降至19.2%,而三个扩散模型在该区间保持相近分数;作者说明各模型名义上下文窗口不同,结论限于被评测模型。
扩散步数、重掩码策略、生成长度、块长度与温度对有效性和效率的影响呈配置依赖,置信度重掩码一致优于随机重掩码,步数与长度增加则降低效率。 系统扫描了扩散特有推理因素并给出可操作配置指引,同时用McNemar检验支撑重掩码结论。 置信度重掩码在HumanEval上使LLaDA-1.5与Dream-Coder-v0-Instruct-7B分别提升33.0与35.4个百分点,McNemar检验p<0.01;DiffuCoder-7B-cpGRPO步数从512降到256时FLOPs/token约减半(1.17×1013到5.88×1012),HumanEval平均解码时间从39.5s/题降到19.9s/题。
启示与展望
该研究面向使用扩散大模型进行代码生成的研究者与工程实践者,适用于函数级合成、多语言生成、近期竞赛题与仓库级长上下文理解等被评测设置;其配置指引(生成长度、扩散步数、重掩码策略、块长度、温度)针对被评测模型与基准,可作为调参起点而非通用常数。对希望评估或部署扩散代码模型、或设计混合自回归-扩散系统的团队,该研究提供了可对照的基线与效率-有效性权衡数据。
被评测模型几乎都小于10B参数,闭源Mercury-Coder-Small的规模与训练流程未公开,因此其领先无法归因于单一因素;长上下文比较未做上下文窗口匹配,结论限于被评测模型;SWE-Bench Verified上六个开源扩散模型在零样本设置下解决率均为0%,作者将其视为边界情形而非范式结论;设置扫描未覆盖所有模型-基准组合,趋势可能对具体配置敏感;HumanEval与MBPP等静态基准存在数据泄漏可能,需与LiveCodeBench等较新基准结合解读。
