Ropedia Xperience 2 把场景扫描与第一人称动作配准到同一坐标系,一次采集可复用为仿真环境与机器人轨迹
核心概要
Ropedia 发布 Xperience 2,把真实场景的米制三维扫描与第一人称人体动作记录配准到同一坐标系,使一次采集既能作为评测参照,也能转成仿真环境和机器人轨迹。它包含 1,589 个已发布扫描,以及覆盖 74 项任务、共 131 小时的 4,230 段记录,采集只用手持激光扫描仪和头戴相机,不需要机器人或动捕设备。在共用的 20 个评测场景上,深度与几何、三维目标检测、空间推理三组基准显示现有模型各有短板,例如三维目标检测中没有任何方法的 AP50 超过 7。
深度剖析
真实场景的几何扫描与人体动作记录被放进同一个米制坐标系,一次现场采集因此可以同时充当评测参照和机器人数据的来源。 此前的场景数据集侧重真实环境的多视角观测,第一人称数据集侧重活动与动作,两类资源分开采集、分开使用。 1,589 个已发布扫描与 4,230 段记录、74 项任务、131 小时共同构成发布内容,扫描与记录通过配准管线关联到同一场景坐标系。
采集分两步完成:先用带鱼眼和广角相机的手持激光扫描仪扫一遍场景,再让操作者戴上四目鱼眼头戴记录器逐项完成任务。 处理管线从扫描重建网格与三维高斯泼溅表示,并从记录中估计相机轨迹、深度、手部与身体姿态,再用多模态大模型生成分层语言标注。 配准以 SIFT 匹配、RANSAC 与 PnP 定位记录帧,再用稳健 Umeyama 对齐拟合记录到场景的变换,并以留出帧误差、重力一致性和深度与网格的 ICP 检查给出 PASS、WEAK 或 FAIL 标签。
同一份采集被复用到四条机器人学习路径:转成可交互仿真场景、把人体动作重定向到轮式人形机器人、在仿真中做虚拟遥操作、以及自动生成长程轨迹。 这些路径以更低的成本提供不同保真度的训练环境与演示,补充真机遥操作,采集成本随操作者数量增长而不是随机器人数量增长。 一个场景的转换得到 217 个独立物体;一段 10.3 分钟的记录重定向后指尖中位误差为 0.40–0.55 cm;一个八子任务任务从 30 个留出起始状态出发,30 次 rollout 全部完成全部子任务。
启示与展望
已发布扫描以家庭室内为主,占 1,389 个(87.4%);三组基准共用同一批 20 个扫描场景,其中室内 15 个、室外 5 个。演示覆盖一个转换后的厨房场景中的水壶抓取与转移、一个场景中四段共 10.3 分钟的动作重定向,以及一个八子任务的家庭任务。
手部与身体动作是估计值而非动捕真值,腿部等未观测部位由学习到的运动先验推断,活动标注由模型生成。单次记录到场景的变换无法校正记录内部的 SLAM 漂移,原地录制且轨迹跨度不足约 2 米的记录只能做刚性配准。发布等级包含策略性覆盖,不能视为对全部保留扫描的统一视觉或几何验证。
