KL正则离线学习补上随机转移缺口:参考策略自采数据无需覆盖假设也能学到最优策略
KL正则强化学习是语言模型RL微调的目标函数,其离线数据常由参考策略自身采集,但在随机转移的有限折扣MDP中,所需样本量此前只在赌博机或确定性转移下清楚。这项研究给出固定设计与参考轨迹两类数据的上下界:悲观软值迭代在温度不太小时达到极小极大速率,并证明参考策略数据对最优路径事件的覆盖只差一个幂律,因而无需覆盖假设即可学习。
KL正则强化学习是语言模型RL微调的目标函数,其离线数据常由参考策略自身采集,但在随机转移的有限折扣MDP中,所需样本量此前只在赌博机或确定性转移下清楚。这项研究给出固定设计与参考轨迹两类数据的上下界:悲观软值迭代在温度不太小时达到极小极大速率,并证明参考策略数据对最优路径事件的覆盖只差一个幂律,因而无需覆盖假设即可学习。
已读完全部报道