跳到主要内容
返回时间线
arXiv来源发表:

奖励标签只标一小部分:SURE把后继可达性与奖励不确定性相乘,用更少反馈逼近全反馈

核心概要

在离线数据只有极少数转移能拿到奖励标签的设定下,SURE把“哪些状态能到达当前高价值状态”与“奖励模型在哪里仍不确定”相乘,决定下一个标签标在哪里。它把已查询的奖励保留下来训练奖励模型,再用该模型为其余转移补奖励。在Maze2d-Medium、Maze2d-Large和HalfCheetah上,SURE达到全反馈参考95%水平所需的反馈比例在三个域中均为各方法最低,分别为0.20%、0.15%和0.71%。

Source-provided article image: Uncertainty-Guided Reward Labeling for Reinforcement Learning under Limited Feedback
arXiv

深度剖析

奖励标签的挑选从“直接喂给策略学习”改为“先留下来训练奖励模型”,被选中的奖励因此能反过来标注整份离线数据。 此前的有限反馈奖励选择把下游策略学习当作黑箱,查询到的奖励不保留用于奖励模型训练;部分标注离线强化学习虽用奖励模型补标签,却假定已标注子集是被动给定的。 在按构造满足线性MDP假设的有限环境中,SURE与可精确计算一步增益的Exact Gain在两种状态规模下达到各阈值所需标签数完全相同,而Uniform需要更多标签。

选择规则把后继特征给出的多步可达性与奖励模型的局部不确定性相乘,优先标注既通向当前高价值状态、又仍不确定的转移。 只用可达性会在当前价值估计不准时失效,只用不确定性会把标签花在与高回报行为无关的区域,因此两个单因子版本在不同域上各有胜负。 在TwoRooms、Maze2d-Medium、Maze2d-Large和HalfCheetah四个连续控制域上,各方法共用同一份无奖励数据集与同一套保留标签流程,结果取50次试验平均。

达到全反馈参考同一性能水平所需的反馈量被压到很低的百分比,且这一优势不依赖单一离线强化学习骨干。 在95%水平上,SURE在四个域中所需反馈均为最少;在Maze2d-Medium上为0.20%,同域最强的非SURE方法IDRL为0.32%,在HalfCheetah上SURE为0.71%,同域最强的非SURE方法Uncertainty为2.49%。 把IQL换成CQL或TD3+BC后,在Maze2d-Medium与HalfCheetah上SURE所需反馈比例仍远低于Uniform,例如TD3+BC骨干下HalfCheetah为0.52%对2.36%。

启示与展望

演示范围是固定无奖励离线数据集上的保留标签奖励选择:线性MDP环境用于验证理论假设成立时的标签效率,连续控制实验覆盖TwoRooms、Maze2d-Medium、Maze2d-Large与HalfCheetah,下游骨干包括IQL、CQL与TD3+BC。理论分析要求所选参考测度满足覆盖条件。

理论结果建立在线性MDP假设与参考测度可采纳的前提上;若离线池未覆盖最优策略使用的特征方向,任何奖励标注策略都无法仅凭标签恢复。所考察的离线骨干只输出连续动作,参数化动作空间被列为后续方向。