arXiv来源发表:
扩散语言模型的强化学习改按块算:PBPO把裁剪落到每个词元,六项基准上不落下风
核心概要
扩散大语言模型按块解码,块内多词元反复去噪,整块的精确似然要对中间状态和揭示顺序做边缘化,难以直接计算,因此块级策略优化一直缺少可用的目标。PBPO用一次模型评估构造前缀块状态,把块似然写成可分解的一步替代量,块替代比等于各词元替代比之积,再对每个词元分别做替代重要性加权与裁剪,并重采样提示与已揭示前缀的加噪视图。在两个LLaDA系列初始化、六项基准和三种生成长度上,PBPO与现有扩散语言模型强化学习方法相比表现相当。
深度剖析
扩散大语言模型的强化学习现在可以在块这一级做策略优化,而不必绕开整块似然无法精确计算的问题。 此前的做法是把自回归策略优化直接搬到块级,但一个完整块的概率要对去噪过程中的中间状态和揭示顺序求和,无法精确写出。 在两个LLaDA系列初始化、六项基准和三种生成长度上,PBPO与现有扩散语言模型强化学习方法相比取得相当的表现。
做法是用一次模型评估定义前缀块状态,并据此给出块似然的可分解一步替代量。 这个替代量把块替代比写成各词元替代比之积,使单个位置的变化在裁剪之前先传遍整个块。 PBPO保留块级条件,但对每个词元分别施加替代重要性加权和裁剪,并在重复更新时重采样提示与已揭示前缀的加噪视图,这一设计取自掩码扩散语言模型的预训练方式。
启示与展望
已展示的范围是两个LLaDA系列初始化、六项基准和三种生成长度下与现有扩散语言模型强化学习方法的比较,读者对象是从事扩散语言模型后训练的研究人员与工程师。
在分析所设假设下,块乘积加权会放大梯度贡献的方差,使其高于词元局部加权;报告的结果是与现有方法相当,而非全面领先。
