跳到主要内容
检索

# POISE

1 篇关联报道

订阅更新
  1. arXiv

    POISE 用模型自身内部状态预测价值基线,在六领域可验证奖励语料上超过 GRPO 与 PPO 并训练更稳定

    该工作提出 POISE(Policy Optimization with Internal State Value Estimation),用一个轻量探针读取前向传播中已计算的内部状态来预测价值基线,并采用跨 rollout 构造让每个 rollout 的价值由另一条独立 rollout 的内部状态预测以保持梯度无偏;在 Qwen3-4B 与 OLMo3-7B-Instruct-DPO 上、跨六领域可验证奖励语料,POISE 优于其他 RLVR 基线且训练更稳定,探针可匹配独立的 LLM 规模价值模型、泛化到多种任务并随策略规模扩大保持准确。

已读完全部报道