扫描件残缺也能重建可仿真铰接物体:让大模型读网格尺寸,关节轴误差降到6.8度
核心概要
机器人策略要在仿真里练、再搬到真实物体上,前提是仿真资产与实物几何一致。USDCraft 让预训练大模型把源网格转成带尺寸的文字描述,写出可执行资产程序,再按同一表示反复比对修正,无需针对任务训练。在 USDCraft-bench 上,其部件匹配 F1 达 84.83%,关节轴角误差 6.833 度;在 Lightwheel 上部件匹配与关节位置误差领先,但整体 Chamfer 距离不及直接分割网格的方法。
深度剖析
铰接物体的仿真资产现在可以从一张不完整的扫描网格出发,由大模型写成可执行程序再编译出来,而不必只对已有表面做分割。 此前的网格方法把静态网格切成功能部件并估计关节轴,遇到表面缺失或部件粘连时分割会失效,也无法补出缺失的几何与开口。 在 USDCraft-bench 的 60 个资产上,USDCraft–Astra 的部件匹配 F1 为 84.83%,静态 gIoU 0.694,关节轴角误差 6.833 度,九项指标均优于 ArtLLM、SIMART、Particulate 与 Articraft 四个基线。
做法是把网格变成智能体能读的带尺寸文字,再让程序与这份文字反复对齐。 大模型读不了网格,渲染图丢失尺度、原始点表又超出上下文,因此需要一种保留米制尺寸的中间表示。 源几何分析把表面支撑采样到规则网格,按竖直轴切成有序切片,并把未观测单元标为未知而非空或实心;迭代几何复核把每个候选按同一网格重新编码,用覆盖缺口和首表面深度差定位该改哪一段程序。
同一套程序表示也用于无网格的生成,并已批量产出资产库。 生成模式下没有源网格,视觉反馈成为主要检查手段,程序里直接写入材质、纹理与 PhysX 物理参数。 在每类 50 条文本与 50 条图像条件的请求上,USDCraft–Astra 五项评分均最高且用时最短,中位 4.9 分钟;据此生成的 USDCraft-10k 覆盖 500 多个日常物体类别。
启示与展望
适用范围是带参考图像的静态网格重建,输出为可直接载入 Isaac Sim 的 USD 资产,含碰撞几何、质量、接触参数与关节限位。真机实验覆盖抽屉拉开、烤面包机压杆与旋钮三个任务,每项在仿真与真机各评测 20 次,策略只用仿真演示训练。
细密格架结构如球拍线、购物车铁丝仍难以忠实重建,线距与局部连接会与源不同。柔性物体只在标注状态与静止几何上得到支持,其在 Isaac Sim 中的弯曲与接触响应尚未验证。Lightwheel 上整体 Chamfer 距离仍低于直接分割网格的方法,因为重建每个部件会累积表面偏差。
