乐观验证器把策略教成堆砌引用:真实忠实度从0.731跌到0.667,代理分却停在0.940
在数学和代码之外,强化学习的验证器多是代理信号,它与真实目标的距离从未被测量,奖励上升无法与奖励黑客区分。研究把可执行授权策略编译成精确的过程级奖励,再沿七条现实路径削弱验证器,训练时用精确验证器给每条轨迹打分。充分性代理被“堆砌引用”攻破:代理分终止于0.940,而留出回合上的真实忠实度从0.731降到0.667;仅看结果的验证器则迅速饱和、不再提供学习信号。
在数学和代码之外,强化学习的验证器多是代理信号,它与真实目标的距离从未被测量,奖励上升无法与奖励黑客区分。研究把可执行授权策略编译成精确的过程级奖励,再沿七条现实路径削弱验证器,训练时用精确验证器给每条轨迹打分。充分性代理被“堆砌引用”攻破:代理分终止于0.940,而留出回合上的真实忠实度从0.731降到0.667;仅看结果的验证器则迅速饱和、不再提供学习信号。
已读完全部报道