跳到主要内容
检索

# 扩散语言模型

16 篇关联报道

订阅更新
  1. arXiv

    视觉语言模型投机解码提速:MMFlash按视觉依赖重加权,图像基准平均加速3.00–3.05倍

    MMFlash把扩散式投机解码扩展到视觉语言模型,做法是先测量每个词元对图像的依赖程度,再在训练中给这类词元加权。测量显示,DFlash草稿器在视觉依赖最低四分位的接受率为46%,最高四分位降到22%,多模态训练后这一差距仍在。在Qwen3.5系列上,MMFlash在七个图像基准的贪心解码下平均加速3.00–3.05倍,比DFlash高10.3–10.9%;长视频基准配合稀疏注意力与轻量微调后平均加速2.33–2.71倍。

  2. 扩散语言模型学会数字符:不微调也能把摘要卡在目标长度,误差降到3.1字符以内

    面向标题、预览等必须卡准字符数的摘要场景,Delta 在掩码扩散语言模型的去噪循环里估计当前输出的期望字符长度,并动态增删掩码位置把生成引向目标长度。它不需要微调,直接用于现成的 LLaDA 与 Dream。在 XSum、CNN/DailyMail、arXiv 三个摘要基准上,字符长度误差比各基线低一个数量级,同时自动与人工评价下的摘要质量保持可比。

  3. arXiv

    扩散语言模型学会何时重写:DiVR 在五个推理基准上把微调生成器平均准确率从35.3%提到43.4%

    掩码扩散语言模型可以重新遮盖已生成的文本,但按置信度或自评决定改哪里,往往改不动错误。DiVR 改为在生成器自身的解码轨迹上学习一个结果判别器,在块边界判断这段部分解是否还能走向正确答案,分数低就整块重采样。在 LLaDA-8B-Base 的监督微调生成器上,五个数学与代码基准的平均准确率从35.3%升到43.4%,代价与贪心解码相当。

  4. bioRxiv

    噬菌体DNA模型改走双向去噪:可见错误碱基里,CPDD一次前向修正42.4%

    自回归DNA语言模型只能从左往右生成,而基因组修复与编辑往往同时依赖两侧序列。CreatiPhage团队把144.5M参数的噬菌体自回归模型改造成147.5M参数的双向离散扩散模型CPDD,在522个经筛选的噬菌体编码序列上,随机掩码恢复准确率高于同类扩散模型PhaGen,混合损坏测试中一次前向把42.4%的可见错误碱基改回正确碱基。

  5. arXiv

    扩散语言模型也能向自回归老师学:JustOPD让Dream-7B在任意顺序解码下提升数学推理

    自回归模型与扩散语言模型的生成顺序不同,前者严格从左到右,后者可任意顺序去噪,使前者的逐词监督难以直接用于后者。JustOPD在训练时强制扩散学生按从左到右的顺序生成轨迹,让Qwen3-14B老师能在每个中间状态上给出监督,推理时学生仍保留任意顺序解码。以Dream-7B为学生、Qwen3-14B为老师在GSM8K和MATH500上测试,多种散度下成绩均高于基座模型。

  6. arXiv

    扩散语言模型不必从零预训练:只训LoRA适配器,单卡数小时把四个自回归模型改成并行生成

    BYOD给出一种只训练LoRA适配器的自回归到扩散语言模型转换方法:冻结全部基座参数,把每层因果注意力换成双向注意力,用掩码扩散目标在单张Google Colab GPU上训练最多102.4M token、3.1–4.0小时,即把Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B转成可从全掩码序列生成的扩散模型,适配器占最终参数4.1–5.8%。九项任务上最强的BYOD-Gemma平均准确率50.6%,同一评测框架下LLaDA 8B Instruct为51.9%;低NFE预算下的开放生成质量仍是主要短板。

  7. arXiv

    扩散语言模型强化学习不再只给整句打分:按词性分配信用,MATH500 低预算下比基座高 9.0 分

    扩散语言模型靠多步去噪逐批确定词元,整句奖励难以说明哪些词元真正帮助了后续去噪。DTCA 用一次词元确定后其余掩码位置预测置信度的提升来估计该词元的贡献,按词性分组得到稳定的贡献权重,再用它挑选去噪时间步并分配词元级学习信号,并按策略更新引起的词元熵变校准。在 LLaDA-8B-Instruct 上,DTCA 在 128、256、512 三种生成预算下均优于基座,MATH500 上分别提高 9.0、6.8、4.8 个百分点,GSM8K 上分别提高 5.3、2.1、2.5 个百分点。

  8. aclanthology.org

    聚变打靶一次上百万美元:扩散语言模型把中子峰时刻误差从11.6步压到9.2步

    惯性约束聚变每次打靶成本约百万美元,因此用AI代理模型预测中子产率波形很有价值。ICF-DLM把512步中子产率波形拆成总产额、峰时刻和峰附近局部波形三个物理量,用双向去噪的扩散语言模型联合生成,并以物理奖励做强化学习。在ICFBench的50发实验留出测试集上,其峰时刻误差为9.2步,同一套微调与强化学习流程下的自回归LLaMA-3-8B为11.6步。

  9. arXiv

    扩散语言模型智能体不再先解码再传话:一条隐藏消息在QASC上比四轮往返高7.0分

    扩散语言模型智能体之间可以不经文字、直接传递压缩后的去噪状态。发送方把隐藏状态压成四个带符号的稠密向量,接收方保留自己的上下文与轨迹继续去噪。在QASC上,配对消息把准确率从72.6%提到80.8%,换成别题的消息则降到46.8%;而一次临近决策的传递达到87.8%,比四轮往返高7.0分。

  10. arXiv

    扩散语言模型不再用固定向量纠错:把上一步预测当反馈,TruthfulQA 多选题均值从 30.89 升到 45.42

    TraceSteer 把扩散语言模型上一步的预测当作反馈,逐步调整激活干预的方向和强度,在 LLaDA-8B-Instruct 与 Dream-7B-Instruct 上提升了 TruthfulQA 的事实可靠性。