跳到主要内容
返回时间线
arXiv来源发表:

扩散语言模型不再先写虚词:SemMask微调让语义词先解码,HumanEval准确率0.7085且步数更少

核心概要

扩散语言模型本应并行生成,实际却常按从左到右的顺序解码,并先写出冠词、介词等功能词,削弱了全局规划。SemMask用原模型对每个词的梯度给词打分,训练时优先保留高分语义词并加大其损失权重,使名词、动词先于功能词被解码。在Dream-7B上,SemMask在HumanEval取得0.7085准确率,高于Dream-7B-Instruct的0.5366和Qwen2.5-7B-Instruct的0.6182,同时平均解码步数从201降到169。

Source-provided article image: SemMask: Semantic-Prioritized Progressive Masking for Diffusion Language Models
arXiv

深度剖析

SemMask把扩散语言模型的解码顺序从功能词优先改为语义词优先,让名词、动词这类承载信息的词先被确定,再补冠词、介词等局部成分。 默认的纯扩散采样下,模型表现出伪自回归行为,并系统性地先解码低信息量的功能词、推迟高信息量的语义词,使依赖全局规划的长文本写作和代码生成受损。 在HANNA上,Dream-7B-SemMask取得0.4613 BLEU和0.8254 BLEURT,高于Dream-7B-SFT的0.4086和0.7364;在HumanEval上,Dream-7B-SemMask准确率为0.7085,高于Dream-7B-Instruct的0.5366。

做法分三步:先用冻结的扩散模型给每个词算一个语义重要性分数,再按分数决定训练时哪些词先不被遮蔽,最后给高分词的预测误差更大权重。 分数来自去噪损失对词嵌入的梯度在“原词嵌入指向掩码词嵌入”方向上的投影,投影越大说明该词对重建被遮蔽部分贡献越大,因此被视为语义锚点。 训练时按分数排序保留高分词作为语义锚点,并约束锚点之间的最小距离以覆盖全文;在10,000条文本写作样本和10,000条代码样本上以LoRA微调LLaDA-8B-Instruct与Dream-7B-Instruct,上下文长度4,096词元。

启示与展望

演示范围是文本写作(HANNA、CommonGen)与代码生成(HumanEval、MBPP)两类任务,骨干为LLaDA-8B与Dream-7B,训练数据各为10,000条经GPT-5.1筛选的样本;效率数据在V100上以序列长度512测得。

在MATH-500上,SemMask与对应SFT基线只有边际差异,Dream-7B-SemMask为39.58、略低于Dream-7B-SFT的39.66;在CommonGen的消融中,随机策略的GOD分数略高于SemMask,但语义指标明显更弱。