扩散语言模型学会回头改稿:PURL在相同解掩预算下把GSM8K准确率提到54.97%
掩码扩散语言模型靠并行解码一次写出多个词,但同一步写下的词彼此独立采样,容易互相矛盾,而标准吸收式解码一旦写入就不再改动。PURL把“改哪个位置、解掩哪些位置、写什么词”放进同一个归一化联合转移里联合训练,推理时一次前向就同时给出解掩与修订决策。在Sudoku、数学推理和代码生成上,相同解掩预算下准确率最高提升47.4%,TinyGSM模型在GSM8K上达到54.97%。
掩码扩散语言模型靠并行解码一次写出多个词,但同一步写下的词彼此独立采样,容易互相矛盾,而标准吸收式解码一旦写入就不再改动。PURL把“改哪个位置、解掩哪些位置、写什么词”放进同一个归一化联合转移里联合训练,推理时一次前向就同时给出解掩与修订决策。在Sudoku、数学推理和代码生成上,相同解掩预算下准确率最高提升47.4%,TinyGSM模型在GSM8K上达到54.97%。
已读完全部报道