GAM 用冻结的 3D 定位骨干替代语言与视频预训练,在 RoboTwin 2.0 随机场景下把成功率从 30.4% 提到 47.6%
该工作提出 Grounded Action Model(GAM),以预训练的可提示 3D 定位模型 WildDet3D 作为机器人基础模型骨干,把语言、2D 点或 2D 框提示统一转换为以任务物体为中心的表征(保留目标视觉特征的图像 token 与编码点云、度量位置和尺寸的检测 token),再经多流 transformer(MM-DiT)结合机器人状态历史预测动作块;在 RoboTwin 2.0 的 50 个任务上平均成功率 55.3%(对比 Spatial Forcing 的 52.0%),随机场景下 47.6%(对比 Abot-M0 的 30.4%),在 LIBERO-PRO 的 16 种扰动设置上取得 61% 的平均成功率(对比 53%),在双臂 YAM 上