跳到主要内容
检索

Haoyang Zheng

1 篇关联报道

订阅更新
  1. arXiv

    扩散语言模型学会回头改稿:PURL在相同解掩预算下把GSM8K准确率提到54.97%

    掩码扩散语言模型靠并行解码一次写出多个词,但同一步写下的词彼此独立采样,容易互相矛盾,而标准吸收式解码一旦写入就不再改动。PURL把“改哪个位置、解掩哪些位置、写什么词”放进同一个归一化联合转移里联合训练,推理时一次前向就同时给出解掩与修订决策。在Sudoku、数学推理和代码生成上,相同解掩预算下准确率最高提升47.4%,TinyGSM模型在GSM8K上达到54.97%。

已读完全部报道