跳到主要内容
返回时间线
arXiv来源发表:

人手的触觉数据也能教机器人用力:FACT 每任务只用 10 条机器人轨迹微调,成功率最高比 T-Rex 高 60 个百分点

核心概要

FACT 把约 2000 小时带触觉力的人手演示与 100 小时机器人遥操作数据一起预训练,再在十个真实接触密集任务上微调。它先用未来视频与视觉轨迹生成粗略动作,再用预测的未来指尖力与动作联合细化。每个任务只用 10 条机器人轨迹加 90 条人手轨迹微调时,FACT 在十个任务上均优于 T-Rex 与基线,成功率最高提升 60 个百分点;消融显示人手预训练数据中的力监督对下游表现最关键。

Source-provided article image: FACT: A Multimodal Force-Action-Track Foundation Model for Human-to-Robot Dexterity
arXiv

深度剖析

机器人灵巧操作现在可以从带接触力的人手演示中预训练,而不只依赖昂贵的机器人数据采集。 此前多数人手操作数据集只记录视觉与手部运动,不测接触力,力在策略中只能作为输入。 在十个真实接触密集任务上,每个任务用 10 条机器人轨迹加 90 条人手轨迹微调,FACT 的成功率比 T-Rex 最高高出 60 个百分点,并在十个任务上均优于 T-Rex 与基线。

模型把动作生成拆成先规划、后按力修正两级,让预测的未来指尖力与动作在细化阶段互相塑造。 T-Rex 把力作为向量量化后的观测编码送入细化器,从不预测未来力,动作与接触动力学保持隐式。 在双机械臂 YAM 平台配 Sharpa Wave 灵巧手上,十个任务各做十次随机摆放的 rollout 评估;移去未来力预测后,开试管盖从 80% 降到 40%,竖琴干净音符从 6.7 降到 0。

人手预训练数据中的力监督是迁移到机器人后性能的主要来源。 同一人机混合数据若关闭人手力监督并屏蔽人手触觉输入,接触敏感任务明显退化。 开试管盖从 80% 降到 0%,移液从 40% 降到 20%,移液枪刻度接合从 5/10 降到 2/10 且平均误差从 6.4 微升升到 20.5 微升,木琴干净音符从 5.4 降到 2.2。

启示与展望

评估限定在双机械臂 YAM 平台配 Sharpa Wave 灵巧手的十个真实接触密集任务上,每个任务十次随机摆放的 rollout,所有方法共用相同场景与物体。预训练混合约 2000 小时 EgoForce 人手演示与 100 小时 T-Rex 机器人遥操作数据,微调时每个任务用 10 条机器人轨迹加 90 条人手轨迹。

移液枪刻度任务中,十次试验只有五次接合刻度盘,失败主要发生在接合而非接合后的调节;接合的五个读数中有四个落在目标 4 微升以内。微调时把机器人对人手的数据比例从 10:90 调到 50:50,翻盖开启从 50% 升到 60%、多物体抓取从 40% 升到 50%、刻度接合从 5/10 升到 6/10,而移液体积误差在三种比例下相近。