跳到主要内容
返回时间线
arXiv来源发表:

扩散语言模型学会回头改稿:PURL在相同解掩预算下把GSM8K准确率提到54.97%

核心概要

掩码扩散语言模型靠并行解码一次写出多个词,但同一步写下的词彼此独立采样,容易互相矛盾,而标准吸收式解码一旦写入就不再改动。PURL把“改哪个位置、解掩哪些位置、写什么词”放进同一个归一化联合转移里联合训练,推理时一次前向就同时给出解掩与修订决策。在Sudoku、数学推理和代码生成上,相同解掩预算下准确率最高提升47.4%,TinyGSM模型在GSM8K上达到54.97%。

Source-provided article image: When Should Diffusion Language Models Reconsider Their Commitments?
arXiv

深度剖析

掩码扩散模型在解码过程中获得了改写已写入词的能力,而不只是继续填补掩码位置。 标准吸收式解码把已解掩的词固定下来,后续上下文即使暴露出错误也无法回退,因此此前这类模型只能并行生成、不能选择性修订。 在Sudoku、GSM8K数学推理与HumanEval+、MBPP+代码生成上,按相同解掩预算比较,PURL的准确率相对提升最高达47.4%,并减少了计划解码轮数。

做法是把每一步解码看成一次联合动作:选哪些已解掩位置改写、选哪些掩码位置揭开、以及在这些位置写什么词。 这三项决策被写成一个归一化联合转移,其似然分解为编辑选择、解掩选择和词预测三项,并分别由编辑规划器、解掩规划器和共享词预测器承担。 训练在按模型自身解掩策略构造的部分掩码序列上进行,并注入临时错误构成修正序列;推理时一次共享前向同时给出规划器分数与词概率,三个决策在同一步提交。

启示与展望

结论建立在Sudoku、TinyGSM上的GSM8K,以及LLaDA-8B-Instruct与Dream-v0-Instruct-7B分别后训练的数学推理与代码生成任务上,均在匹配的解掩预算下比较;作者指出可见度阈值与噪声注入日程仍是启发式设定。

作者说明,整体策略比较既不能分离单次编辑的因果作用,也不能证明上下文累积是唯一机制;标量可见度比例无法指出哪些依赖已经可用,修订时机还受门控、预算与保护规则影响。