人形机器人把平衡交给残差策略:DKWBC在全部训练数据规模上跟踪成功率与精度均高于SONIC
核心概要
人形机器人全身控制通常让一个策略同时学会跟踪动作和保持平衡,相近姿态却对应差别很大的力矩需求。DKWBC把跟踪力矩交给浮动基逆动力学前馈加关节PD反馈,只让强化学习策略输出关节力矩残差来维持平衡。在BONES-SEED两个测试集上,从2到128小时的各训练数据规模下,它的成功率都更高、跟踪误差都更低;同一套平衡策略还能在负重和外部扰动下工作。
深度剖析
人形机器人全身控制被拆成两件事:跟踪参考动作的力矩由模型算出,保持平衡的力矩由学习策略补上。 此前的强化学习跟踪器让一个策略直接输出关节位置目标,由PD控制器转成力矩,跟踪与平衡在同一输出里一起学。 在BONES-SEED的test-content与test-repetition两个测试集上,按2、4、8、16、32、64、128小时均匀采样的每一档训练数据,DKWBC的成功率都高于重新训练的SONIC,跟踪误差都更低。
跟踪力矩由当前机器人状态和参考加速度经逆动力学前馈算出,再叠加关节PD反馈修正位置与速度误差。 逆动力学前馈在浮动基模型上用递归牛顿–欧拉算法求值,拆成三组三维分量,同时作为策略的观测输入。 在固定基座悬空、开启重力且无接触的条件下单独测试跟踪模块,位置误差为4.45毫米;只用前馈时为171.73毫米,说明重定向的人体动作动态可行性有限,需要位置反馈。
平衡策略直接输出关节力矩残差,并在两次策略更新之间保持不变,不再经过位置伺服。 常见做法是策略以较低频率输出关节位置目标,再由更高频率的PD控制器转成力矩,输出固定时力矩仍随关节状态变化。 在LAFAN训练、BONES-SEED两个测试集上,完整DKWBC的成功率高于各动作消融变体,位置与速度误差也更低;去掉跟踪模块后,力矩动作相对PD目标动作不再占优。
启示与展望
验证覆盖仿真与Unitree G1实机,动作来自BONES-SEED与LAFAN,外部力实验使用217条站立与行走序列,在双手施加随时间变化的三维力。作者提出后续把这一分解扩展到更广的全身物理交互任务。
作者指出,残差可以补偿模型误差,但这一分解本身并不辨识实际接触力;与接触补偿力矩的对比只在仿真中一段带地面接触的动作上进行,幅度与时间变化一致被表述为符合预期作用。外部力实验不建立显式的力调节或操作任务成功率。
