BeyondCSe 让机器人凭“刚才用过的东西”抓取:遮挡目标成功率 77%,重遮挡下 95% 且平均视角从 3.35 降到 2.20
该工作提出零样本机器人抓取系统 BeyondCSe,用现成的多模态大模型与点跟踪器从事件历史中恢复被指代目标的三维先验,并在目标被遮挡时结合当前场景几何主动选择视角,在单腕部 RGB-D 相机的真机实验中,初始可见与初始遮挡目标的抓取成功率分别为 76% 和 77%(最强基线为 40% 和 55%),在四个重遮挡场景中把成功率从 75% 提升到 95%,同时把平均视角数从 3.35 降到 2.20。