跳到主要内容
检索

# SemMask语义优先渐进掩码

1 篇关联报道

订阅更新
  1. arXiv

    扩散语言模型不再先写虚词:SemMask微调让语义词先解码,HumanEval准确率0.7085且步数更少

    扩散语言模型本应并行生成,实际却常按从左到右的顺序解码,并先写出冠词、介词等功能词,削弱了全局规划。SemMask用原模型对每个词的梯度给词打分,训练时优先保留高分语义词并加大其损失权重,使名词、动词先于功能词被解码。在Dream-7B上,SemMask在HumanEval取得0.7085准确率,高于Dream-7B-Instruct的0.5366和Qwen2.5-7B-Instruct的0.6182,同时平均解码步数从201降到169。

已读完全部报道