机器人抓取不再逐物标注:AffordSim用开放词表3D可供性预测生成轨迹,难任务收集成功率64%
核心概要
AffordSim把开放词表三维可供性预测放进仿真轨迹生成流程:先由视觉语言模型把自然语言任务拆成可供性查询,在物体点云上定位功能接触区域,再只在区域内采样抓取并用运动规划筛选。在50个任务、500余个刚体与铰接物体、五种机械臂的基准上,它无需逐物体标注即可收集轨迹,困难复合任务的平均收集成功率为64%,而人工标注参照为86%。
深度剖析
仿真数据生成器开始把“抓哪里才符合任务”当作独立一步先算出来,而不是先挑一个稳定抓取再事后过滤。 此前的两条路线各有代价:逐物体人工标注接触区域在标注集上成功率高,但每换一个物体或任务都要重新标注;通用抓取估计器按抓取稳定性排序,不考虑任务语义,常落在与后续动作不匹配的区域。 在50个任务的基准上,通用抓取估计器AnyGrasp的轨迹收集成功率在简单、中等、困难三档平均分别为67%、15%、3%,叠加二维语义掩码过滤后为87%、45%、16%,而AffordSim为98%、79%、64%,人工标注参照为100%、93%、86%。
整条流程从一句自然语言任务描述出发,产出可直接执行的抓取与预抓取轨迹。 视觉语言模型分两次调用,分别解析场景描述与任务描述,把物体—动作条目转成每个功能接触区域一条可供性查询,例如“可抓握的把手”。 开放词表三维可供性模型在物体点云上输出逐点掩码,流程对掩码点做均值漂移聚类取簇心作为接触点,在其邻域估计表面法向,沿对侧半球采样K个接近方向并解出手腕偏航,得到K个候选抓取;随后用cuRobo为每个候选规划无碰撞预抓取轨迹,按关节空间弧长倒数打分,取最高分者。该流程在五种机械臂上取得76%至83%的收集成功率,比掩码过滤的通用估计器高32至33个百分点。
启示与展望
演示范围限于刚体桌面操作:50个任务、500余个刚体与铰接USD物体、五种机械臂,每任务100次仿真 rollout,真机部分为Franka FR3上四个任务各10次试验且不做真实世界微调。作者把动态与接触力可供性、可变形物体与双臂操作列为后续工作。
可供性预测器覆盖不足时轨迹质量会下降,包括新几何、透明物体与功能区域含糊的情形;所有悬挂任务上AffordSim低于30%,作者归因于“抓住杯身、留出把手”这类配置在其可供性骨干训练数据中罕见。真机背景重建需每场景10至20张照片,视角远离拍摄位时图像质量明显下降。
