RLDX-1把运动、记忆和触觉拆成独立流:ALLEX人形任务成功率86.8%,π0.5与GR00T N1.6约40%
核心概要
RLWRLD与KAIST发布通用机器人策略RLDX-1,在视觉语言动作模型之上补上运动感知、长期记忆和物理感知三类能力。它用多流动作Transformer为每种模态保留独立通道,再通过联合自注意力交换信息,并配合合成数据、三阶段训练和推理优化。在ALLEX人形机器人任务上,RLDX-1平均成功率为86.8%,而π0.5和GR00T N1.6约为40%。
深度剖析
RLDX-1把运动感知、长期记忆和物理感知作为三类独立功能能力加入机器人策略,使同一模型能在动态、需要历史信息和接触密集的任务上执行灵巧操作。 此前的视觉语言动作模型主要继承预训练视觉语言模型的通用场景理解与语言条件泛化能力,在传送带抓取、壳牌游戏这类任务上表现受限。 在ALLEX人形机器人基准上,RLDX-1平均成功率为86.8%,π0.5和GR00T N1.6约为40%;在传送带抓取任务中,RLDX-1在已见速度上达到100%、未见速度上达到75%。
模型把每种输入模态放进各自的流,再让这些流在注意力层里互相读取,从而在保留各自表示的同时共同生成动作。 多流动作Transformer(MSAT)把多模态扩散Transformer的双流结构扩展到动作建模,有物理信号时再增加一条物理流。 物理流处理力矩与触觉信号,并额外预测未来一段物理信号;在Franka Research 3平台上,插头插入任务成功率为33.3%,π0.5为20.8%,GR00T N1.6为16.7%。
启示与展望
评估覆盖LIBERO、SIMPLER、RoboCasa Kitchen、GR-1 Tabletop、RoboCasa365等仿真基准,以及OpenArm、ALLEX人形机器人和Franka Research 3单臂平台上的真实任务;物理感知能力只在带力矩或触觉传感器的平台上得到检验。
物理信号数据明显少于视觉观测和动作标签,Franka Research 3上的触觉监督仅来自少量内部数据;模型在RoboCasa365未见复合任务上的成功率为5.6%,仍处于较低水平。
