跳到主要内容
检索

# 前缀块策略优化

1 篇关联报道

订阅更新
  1. arXiv

    扩散语言模型的强化学习改按块算:PBPO把裁剪落到每个词元,六项基准上不落下风

    扩散大语言模型按块解码,块内多词元反复去噪,整块的精确似然要对中间状态和揭示顺序做边缘化,难以直接计算,因此块级策略优化一直缺少可用的目标。PBPO用一次模型评估构造前缀块状态,把块似然写成可分解的一步替代量,块替代比等于各词元替代比之积,再对每个词元分别做替代重要性加权与裁剪,并重采样提示与已揭示前缀的加噪视图。在两个LLaDA系列初始化、六项基准和三种生成长度上,PBPO与现有扩散语言模型强化学习方法相比表现相当。

已读完全部报道