RLVR 后训练被证明允许无界语言漂移,而监督微调不会,且漂移只在基座模型无法完成的新推理任务上出现
该工作从理论与实证两方面刻画了 RLVR 后训练中思维链语言漂移的产生条件:理论上证明 RLVR 的优化压力允许无界语言漂移而监督微调不会,实证上显示漂移专门出现在基座模型无法引出目标行为的新推理任务上,并进一步证明在不约束期望奖励的前提下无法约束语言漂移。
该工作从理论与实证两方面刻画了 RLVR 后训练中思维链语言漂移的产生条件:理论上证明 RLVR 的优化压力允许无界语言漂移而监督微调不会,实证上显示漂移专门出现在基座模型无法引出目标行为的新推理任务上,并进一步证明在不约束期望奖励的前提下无法约束语言漂移。
已读完全部报道