跳到主要内容
返回时间线
arXiv来源发表:

抓取先分物理可行与任务合适:LAGR在真实机械臂上把交接任务成功率从58%提到92%

核心概要

面向任务的抓取需要同时满足两点:抓得稳,且抓法符合任务,例如锤子敲击时握柄、递给人时握头。LAGR把这两件事拆开:先由与任务无关的生成器给出物理可行的候选抓取并打分,再由语言条件重排器在所有候选之间联合比较,选出适合当前指令的那一个。在自建的268万条带评分抓取标注、100911个图像—任务对上,LAGR的任务条件成功率85.9%,比最强基线GATER的76.6%高9.3个百分点;在Franka Research 3机械臂的100次真实抓取中成功93次,GATER为72次。

Source-provided article image: LAGR: Language-Aware Grasp Re-Ranking for Task Oriented Grasping
arXiv

深度剖析

抓取选择被拆成两步:先判断一个抓取在几何上是否抓得住,再判断它是否适合当前任务指令,两步各自有独立的分数。 此前的任务导向抓取方法要么只优化物理抓取质量而不看任务意图,要么用语义或可供性推理挑区域,却不把任务无关的物理可行性与任务相关的适用性分开评估。 在自建基准上,LAGR的任务条件成功率为85.9%,最强基线GATER为76.6%,相差9.3个百分点,抓取IoU从0.51升到0.58;只按物理置信度选抓取时成功率降到53.03%。

重排器不逐个独立打分,而是把同一观测下的所有候选抓取放在一起比较,再与物理置信度合成最终排序。 候选抓取由多模态编码器从RGB、深度和语义分割中生成,每个候选带物理可行性分数;语言指令由冻结的MiniLM编码,抓取几何与指令特征拼接、相乘、相减后送入候选上下文Transformer。 去掉候选上下文Transformer后成功率降到77.76%,去掉显式抓取几何后降到74.00%;候选数从1增到64时成功率从53.03%升到82.36%,超过64后基本饱和。

启示与展望

验证范围是自建的100911个图像—任务对基准,以及Franka Research 3机械臂配两指平行夹爪的简化桌面场景:5个物体、10个物体—任务对、每对10次试验。

LAGR的性能依赖所生成候选抓取的质量与多样性,当前形式只覆盖两指平行夹爪;真实实验中壶的倒水与交接成功率分别为7/10和6/10,低于多数其他物体—任务对。