跳到主要内容
检索

Zhuoqing Song

1 篇关联报道

订阅更新
  1. arXiv

    贝尔曼策略优化:用贝尔曼方程把策略镜像下降改写成无评论家的轨迹级目标

    该工作提出贝尔曼策略优化(BPO),一种从策略镜像下降(PMD)推导出的无评论家方法:在带终端奖励的自回归生成中,用贝尔曼方程把 PMD 改写为轨迹级目标,从而避免估计中间状态的价值,并证明该目标与原 PMD 目标具有相同的唯一最优解;其实际损失以互补 token 概率的平滑比值作为失配修正权重,替代 GRPO 的重要性采样比值,在数学推理基准上取得优于 GRPO-ClipHigher、GSPO、CISPO 与 DPPO 的平均准确率。

已读完全部报道