KL正则离线学习补上随机转移缺口:参考策略自采数据无需覆盖假设也能学到最优策略
核心概要
KL正则强化学习是语言模型RL微调的目标函数,其离线数据常由参考策略自身采集,但在随机转移的有限折扣MDP中,所需样本量此前只在赌博机或确定性转移下清楚。这项研究给出固定设计与参考轨迹两类数据的上下界:悲观软值迭代在温度不太小时达到极小极大速率,并证明参考策略数据对最优路径事件的覆盖只差一个幂律,因而无需覆盖假设即可学习。
深度剖析
在转移未知的随机有限折扣MDP中,KL正则离线学习所需样本量有了与下界匹配的上界,覆盖对象从单步赌博机扩展到带有效视界的整条路径。 此前关于KL正则离线学习的紧速率结果只覆盖多臂赌博机或确定性转移;随机转移下已有的界把每步似然比相乘,随视界增长。 固定设计下,悲观软值迭代在温度不太小时以高概率达到与信息论下界相同的速率,二者只差对数因子。
算法用悲观软值迭代:在经验奖励与经验转移上做软贝尔曼备份,并对每个状态-动作对减去一个惩罚项,使估计偏向保守。 惩罚采用带下限的Bernstein形式,用观测值的经验标准差而非固定幅度来定惩罚大小,因此方差小的状态-动作对不会被过度压低。 分析把次优性写成两条路径分布之间的KL散度,再沿最优策略的路径对估计误差的方差求和,这一路径级界在固定设计与参考轨迹两种数据模型下都成立。
当数据由参考策略自身产生时,参考策略对最优策略路径事件的覆盖只差一个幂律,指数随温度降低而增大。 确定性转移下每步似然比可以直接相乘得到覆盖;随机转移下这一论证失效,似然比可以无界。 在链式构造上该幂律是必要的,并可能把样本量放大一个关于温度的多项式因子;但在温度不太小时,仅凭这一覆盖界,悲观软值迭代就能在无覆盖假设下以关于状态-动作数的多项式样本量学习。
启示与展望
结论针对状态-动作对有限、转移未知的折扣MDP,数据分固定设计与参考策略轨迹两种模型,样本量以转移次数计。温度不太小时悲观软值迭代的速率与下界匹配;温度更小时需要先积累足够计数,或只能得到较慢的速率。奖励是否已知在来源中并不一致:预备部分把平均奖励与转移核都列为未知,而参考轨迹的信息计算与下界构造按奖励已知处理,因此这一范围在本报道中不作断言。
温度较小时的速率依赖一个随温度降低而增大的常数,能量论证在该区间失效。参考数据一侧的保证偏松:子采样估计器只用约四分之一数据,并把期望访问次数低于某量级的对视为未覆盖,可能带来多项式因子代价。大温度下是否需要悲观仍未知。
