只看状态也能模仿:FOCUS把最优传输对齐接进可微仿真,152块肌肉的人形模型接近专家水平
核心概要
FOCUS把仅含状态、时间未对齐的专家演示切成短片段,用局部最优传输把智能体的短滚动窗口与多个候选专家片段匹配,再以软最优加权选出局部相容的目标,配合短视界演员—评论家学习。它不需要专家动作、时间对齐、专家对齐初始化或教师强制,在DFlex的四个接触丰富运动任务上,至少一个FOCUS最优传输变体在最终交互预算下取得最高平均回报,SNU Humanoid的152个肌肉驱动下接近专家表现。
深度剖析
模仿学习现在可以只靠状态序列完成,不必知道专家动作,也不必知道学习者的哪一段对应演示的哪一段。 此前的对抗式从观测模仿依赖判别器给出的奖励,对奖励建模和判别器稳定性敏感;把最优传输代价转成替代奖励再用零阶强化学习优化的做法,则继承了黑盒策略优化的样本低效与高方差。 在DFlex的Hopper、Ant、Humanoid和SNU Humanoid四个接触丰富任务上,至少一个FOCUS最优传输变体在最终交互预算下取得所有对比方法中最高的平均回报,其中SNU Humanoid由152个肌肉驱动。
做法是把整条轨迹的对齐问题拆成许多短的局部对齐问题,让梯度只穿过一小段仿真。 FOCUS用局部最优传输比较智能体的短滚动窗口与多个采样出的专家片段,并以softmin加权的“多选优”聚合强调局部相容的匹配,从而压低相位错位或局部不可达片段带来的破坏性更新。 每个短窗口的传输代价被转成可微的模仿奖励,学到的评论家把价值自举到滚动窗口之外;主实验用SAPO骨干、从随机初始化训练,不使用行为克隆预训练、专家动作、专家对齐初始化或教师强制。
这套监督在只有一条专家轨迹时仍然有效,说明它不依赖大量演示覆盖。 此前的可微模仿方法中,DiffMimic依赖专家对齐初始化与教师强制,ILD依赖行为克隆预训练后再做截断反传。 骨干与数据消融显示SAPO优于SHAC,且FOCUS在只有一条专家轨迹时仍保持有效;主实验的每条专家轨迹含1000步状态观测。
启示与展望
演示范围限于DFlex中的四个周期性运动任务,训练在已知可微仿真器内进行,专家数据为仅含状态的轨迹;方法假设可微仿真器已知,扩展到学习到的世界模型被列为后续工作。
两个最优传输变体的相对强弱随环境变化,且二者在距离度量与奖励变换上同时不同,比较无法单独归因于某一因素;最优片段选择是局部的而非全局的,候选不具代表性时可能偏向碎片化匹配。
