机器人学会用“事后画面”训练当下决策:HSD在LIBERO达98.50%,真机成功率从24.17%升到37.50%
核心概要
机器人必须在看到结果之前选动作,而示教录像里后续帧记录了动作之后发生了什么。Hindsight Self-Distillation(HSD)在训练时让一个能看到当前帧和后续帧的教师,把动作去噪预测和视觉摘要两方面的目标传给学生,学生部署时只读当前帧。学生在LIBERO上平均成功率98.50%,在RoboTwin 2.0上为92.31%;六项真机双臂任务上成功率从Fast-WAM的24.17%升到37.50%。
深度剖析
训练阶段可以借助示教录像中动作之后的画面,教策略从当前画面里提取更有用的视觉特征,而部署时策略仍然只看当前观测。 此前的视频类策略要么用视频做规划或预测特征,要么在动作去噪器内部预测未来特征;HSD把监督放在去噪器上游的视觉摘要上,这些摘要为动作预测提供全部视觉输入。 在LIBERO上,HSD平均成功率98.50%,同一实验条件下复现的Fast-WAM为96.95%,Being-H0.7-style为97.05%,FLARE-style为97.30%;差距最大的是Long套件,HSD为97.8%,两个对照分别为93.4%和93.6%。
教师和学生共用视频编码器与动作预测器,但各自持有一组可学习查询;教师查询能读取当前帧和后续帧,学生查询只读当前帧。 每组查询把图像压缩成少量特征向量,这些向量经键值投影后构成动作预测器唯一的视觉接口,因此动作监督同时训练查询和共享权重。 学生除学习示教动作或教师在同一噪声水平下的去噪预测外,还要对齐教师最终的视觉摘要;部署时每个动作块只做一次视频编码,随后十个去噪步复用同一份摘要。
启示与展望
评测覆盖LIBERO四个套件、LIBERO-Plus任务变体、RoboTwin 2.0的干净与随机化场景,以及YAM机器人上的六项双臂任务,每项真机任务20次试验。理论分析在固定模型权重、给定当前图像编码随机性的条件下成立。
事后信息的迁移效果取决于教师目标中有多少能从当前上下文预测出来;分析在固定权重快照下成立,而闭环收益由实验评估。真机评测每项任务20次试验。
