轨迹相似不等于偏好相同:TRAIL-IRL把奖励与温度拆开,白鹳迁徙分出四类偏好、三档随机性
核心概要
无标签轨迹聚类此前常把“偏好不同”和“行动随机程度不同”混为一谈,多奖励逆强化学习默认所有个体共享同一行动随机性。TRAIL-IRL用交叉混合把奖励类别与温度档位分开配对,使同一偏好组内的行动规律性也能变化,并在已知有限状态环境中给出可辨识条件。模拟中它的预测拟合、奖励恢复与轨迹分类优于同组件数的共温度混合;140条白鹳鸟年轨迹上BIC选出四个奖励类与三个温度档。
深度剖析
轨迹路径不同,未必意味着偏好不同:个体也可能只是以不同程度的随机性选择行动。TRAIL-IRL把这两类差异分别交给奖励参数和温度参数,让每条无标签轨迹同时获得一个偏好类标签和一个行动规律性档位。 此前的多奖励逆强化学习把行动随机性设为所有个体共享的固定决策精度,因而可能把随机性差异误读为偏好异质性;允许决策精度因人而异的方法则需要已知示范者身份。 在已知有限状态环境、奖励居中并归一化的条件下,足够长的轨迹分布可把奖励、温度、混合权重与类别数确定到重标号为止;同样条件下,组件数相同的共温度奖励混合无法复现含多个温度的交叉混合。模拟中交叉混合在预测拟合、奖励恢复和轨迹分类上优于同组件数的共温度混合。
模型把每个奖励与同一组温度档位交叉配对,因此同一偏好组内可以出现不同的行动规律性,不同偏好组也可以共享同一档规律性。 温度在熵正则化决策模型中控制行动选择的集中程度,温度越高,行动越分散;交叉结构让这一参数在奖励类之间共享,而不是每个奖励类各配一个。 估计用广义期望最大化算法交替更新权重、奖励与温度,类别数由贝叶斯信息准则选择;在140条来自79只白鹳的鸟年轨迹上,该准则选出四个奖励类与三个温度档,优于共温度候选。
在白鹳秋季迁徙数据上,较年轻的鸟更可能属于向西南迁徙的奖励类,较年长的鸟更可能属于留在北方的奖励类。 同一奖励类内部,拟合温度较高的个体移动方向更不一致,且在迁徙路线上位置更靠前。 这些年龄与位置关联来自对后验成员概率和前分值的回归,分析中控制了日历年、性别等因素;原文将其与发育可塑性和社会信息利用等已有解释相联系,属于一致性讨论而非因果结论。
启示与展望
已展示的范围是已知有限状态环境下的可辨识性结论、网格模拟中的参数恢复与模型比较,以及140条白鹳鸟年轨迹上的聚类与关联分析;白鹳部分把连续位置映射到网格,并假定每条轨迹内奖励与温度固定、个体共享同一转移机制。
可辨识性结论依赖奖励居中归一化、状态强连通等条件,且只保证到重标号为止;白鹳分析中的年龄与位置关联是回归得到的统计关联,原文以发育可塑性和社会信息利用等假说解释,未确立因果。模型还假定奖励与温度在单条轨迹内不变,未来工作才考虑天气、栖息地与个体互动等因素。
