跳到主要内容
返回时间线
arXiv来源发表:

人手先验不能直接给机器人用:ART把三维可操作区域重建成夹爪可执行分布,实机480次试验成功率86.5%

核心概要

人手标注的三维可操作区域便宜且充足,但人手与机器人末端执行器结构不同,直接套用会让机器人抓不稳、推不动。ART把这一错配当作显式的跨具身迁移任务:先用几何可靠性门控剔除人手先验中机器人够不到或站不稳的假阳性,再用分层重建与图扩散把连续的面状先验改写成机器人可执行的离散接触分布。在配对人—机器人标注数据集HPAD上,ART在已见与未见类别两个划分上都取得最高绝对分数;在6自由度机械臂加平行夹爪的2400次实机试验中,ART在其480次试验里成功率为86.5%。

Source-provided article image: ART: Bridging the Embodiment Gap in 3D Human-to-Robot Affordance Transfer
arXiv

深度剖析

三维可操作区域不再被当作物体自身的固定属性,而是随执行者形态变化的量,因此从人手先验到机器人可执行区域需要一次显式迁移。 此前的方法多把人手先验当作可直接参照的通用区域,默认人能够到的位置机器人也能用。 HPAD上的统计显示,人手先验激活的区域普遍大于机器人标签,且两者空间重合度随置信度阈值升高从0.3以上降到0.2以下,说明差异在高置信区域依然存在。

ART用两条支路完成这次迁移:一条判断哪些人手区域对刚性夹爪物理可行,另一条把面状先验重排成机器人接触模式。 几何可靠性门控以多尺度点特征和动作、物体尺寸构成的条件向量预测逐点可靠性,并按尺度加权监督,专门惩罚人手先验中的几何假阳性。 分层可操作区域重建用按动作索引的可学习机器人原型做跨注意力,把粗尺度参考逐级对齐到中、细尺度,再由图扩散精修器在动态k近邻图上做各向异性扩散,修正人—机器人可操作区域之间的拓扑错配。

在HPAD上,ART在已见与未见两个划分的MAE、aIoU、IoU0.9和F10.9四项指标上都取得最高绝对分数。 未见划分留出整个物体类别,训练时从未见过这些类别。 已见划分上ART的aIoU为69.06%、IoU0.9为56.45%、F10.9为67.88%、MAE为0.032;未见划分上分别为43.90%、29.70%、39.08%和0.101。

在Dobot CR5A六自由度机械臂配Lebai平行夹爪的实机基准中,ART在480次试验里成功率为86.5%。 直接使用人手先验在对应试验中成功率只有55.0%,跨注意力与FiLM两类融合基线分别为70.8%和72.5%。 该基准共2400次物理执行,覆盖12个物体和4类动作,其中4个物体不在HPAD中,点云由真实多视角RGB-D重建。

启示与展望

演示范围是平行夹爪配六自由度机械臂的桌面操作,动作限于抓取、推、拖、倚四类,实机试验中的点云来自真实多视角RGB-D重建。作者提出的下一步是把该范式扩展到灵巧手等不同末端执行器形态,并让迁移本身以具身为条件、无需为每种夹爪单独特化。

作者明确说明当前只覆盖平行夹爪,灵巧手的接触基元与目标分布性质不同,因此结论不外推到其他末端执行器。HPAD的机器人标签由仿真加人工复核生成,作者在附录中分析了机器人标签对仿真参数的敏感性,但正文未给出该分析结论。