跳到主要内容
返回时间线
arXiv来源发表:

人形机器人全身控制改按关节自由度分工:H2MARL在MuJoCo上把足部滑移压到0.5367

核心概要

人形机器人全身控制此前多把关节或肢体当作同质智能体,或把高层规划与低层执行分开训练,导致动作不协调。H2MARL把每个受扭矩驱动的关节自由度建模为带物理描述符的异构智能体,并让高层姿态规划器与低层关节执行器共享同一条闭环轨迹共同优化。在MuJoCo的Humanoid-v2行走任务上,相对最接近的对比方法MAPPO,H2MARL把足部滑移、躯干稳定性和步态对称性分别改善7.3%、35.0%和14.8%,但运动平滑度略逊于MAPPO。

Source-provided article image: H2MARL: Hierarchical Heterogeneous Multi-agent Reinforcement Learning for Humanoid Robot Control
arXiv

深度剖析

人形机器人全身控制不再把整台机器人的关节当作同质单元,而是把每个受扭矩驱动的关节自由度当作一个独立且物理属性不同的智能体来学习控制策略。 此前的多智能体强化学习方法要么把关节或肢体划分为同质智能体,要么直接套用通用异构智能体算法,忽略了髋关节与肘关节在扭矩、负载和平衡角色上的差异。 在MuJoCo的Humanoid-v2行走任务上,H2MARL在足部滑移、躯干稳定性和步态对称性三项指标上均优于HAPPO、MAPPO和HATD3,其中相对MAPPO分别改善7.3%、35.0%和14.8%。

高层姿态规划器与低层关节执行器不再各自独立训练,而是通过同一条交互轨迹在闭环中一起更新。 此前的分层控制通常先训练低层执行器再冻结其参数训练高层,高层策略更新后动作分布会偏离低层执行器,造成两层之间配合不足。 在Isaac Gym基准上,去掉闭环协同优化的变体在能耗、运动抖动和质心角动量上明显高于完整模型,说明这一机制对能效和稳定行走是必要的。

每个关节自由度智能体都携带一份物理描述符,描述其关节类型、驱动轴、扭矩上限、运动范围、运动学位置和惯性相关属性。 这些描述符的数值直接读取自所用仿真器,不需要人工设定,使不同关节能学到各自专门的控制行为,同时通过集中式训练保持整体协调。 在Isaac Gym上把异构智能体表述换成MAPPO的同质表述后,所有指标都出现幅度不大但一致的退化。

启示与展望

结果来自MuJoCo的Humanoid-v2行走任务和Isaac Gym基准的仿真实验,机器人含10个关节、共17个受驱动的关节扭矩,每个扭矩都被建模为一个异构智能体;单步推理总耗时9.259毫秒,频率超过100赫兹。

运动平滑度略逊于MAPPO,作者将其归因于关节级异构表述带来更频繁的关节调整;去掉闭环协同优化的变体在躯干稳定性上反而最低,作者解释为躯干运动减少以牺牲整体行走质量为代价。