清华团队发布HandsOn灵巧操作基准:8个多任务策略中最好的OpenWAM在Core-50上成功率29.1%
核心概要
清华等机构发布HandsOn,一个面向跨本体灵巧操作的仿真平台与基准,含5种机械臂、6种灵巧手、约200个刚体/铰接/可变形资产,以及66个经人工核验的任务和18000条人类演示。Core-50的50个任务带演示用于训练与执行评测,Transfer-16的16个任务不提供目标任务演示,用于考察资产与关系迁移、技能组合和可变形操作。在Core-50上,8个训练过的多任务检查点中OpenWAM成功率最高,为29.1%;未经基准微调的GPT-6配合move_eef接口在660次试验中取得Core-50 5.2%、Transfer-16 1.9%。
深度剖析
灵巧操作评测现在有了一个把演示数据、任务套件和失败诊断放在同一仿真环境里的共享基准,覆盖5种机械臂、6种灵巧手和约200个刚体、铰接与可变形资产,场景随机化。 此前的灵巧操作基准虽然扩展了任务与本体覆盖,但人类演示集较小,且任务很少包含专门留作评测的部分。 HandsOn提供18000条精选仿真演示,约56小时交互、三条同步相机视角,按同一统计口径是代表性灵巧基准人类轨迹数的5.7至16.4倍。
基准分成两个用途不同的套件:Core-50的50个任务带演示,用于策略学习和新回合执行评测;Transfer-16的16个任务不向训练集贡献目标任务演示,专门考察迁移。 两个套件回答不同问题,因此分数分开报告:Core-50衡量有演示任务上的执行,Transfer-16衡量留出任务上的泛化。 66个任务全部由数据采集操作员在发布环境中逐一手工核验,每个任务由任务专属的成功判定器打分,而非共用代理指标。
在Core-50上,8个训练过的多任务检查点中OpenWAM成功率最高,为29.1%;若逐任务挑选最佳检查点可达35.4%。 单任务Diffusion Policy在50个任务上平均9.7%,在11个匹配任务上为9.9%,低于七个多任务检查点的22.7%至34.5%。 每个检查点每个任务100个回合,OpenWAM的任务与回合自助区间为22.8%至36.0%,区间宽度主要反映任务组合的差异。
未经HandsOn微调的GPT-6通过move_eef接口直接输出掌部位姿和每只手20个手指关节目标,在660次试验中取得Core-50 5.2%、Transfer-16 1.9%。 这一条件与训练策略不同:输入为RGB加实测机器人状态,每任务10次试验,并受模型调用预算限制,因此单独报告。 66个任务各10次计分试验,共29次成功;其中260次试验在调用预算处结束,150次触及物理时限,221次以原生终止或任务规则违规结束。
启示与展望
全部实验只使用一种配置:ROKAE AR5-08七自由度机械臂、第一代Wuji灵巧手和NVIDIA PhysX物理后端,18000条演示与所有Core-50、Transfer-16结果都来自这一配置。平台代码支持替换其他机械臂、灵巧手和物理后端,但这些配置不贡献任何回合,报告中的数字不应读作它们上面的性能。真实机器人只提供定性 rollout 视频,没有物理成功率。
GPT-6的5.2%与1.9%是在最小接口下测得的,该接口只暴露move_eef,没有抓取原语、避障规划、显式物体位姿估计或触觉反馈;调用预算结束的试验不能说明不限调用时能达到什么水平。作者指出,要分离规划能力与更丰富工具带来的收益,需要在控制任务总体和预算的前提下做匹配评测。Transfer-16上训练检查点的成功率接近零,因此聚合成功率区分度弱,需借助有序进度排序。
