ExStereo 用显式立体表征把 2D VLA 提升到 3D,仿真成功率从 51.2% 升至 76.4%、真机从 16/60 升至 50/60
核心概要
作者提出 ExStereo 立体模块:用冻结的立体基础模型从双目图像重建度量点云,渲染为 Top/Front/Left/Right 四视图显式立体表征,经 ViT 编码后由动作 token 通过 action-stereo 交叉注意力选择性读取,并在大规模立体数据上以掩码自编码目标做 mid-training、再冻结模块做 post-training;在 RoboTwin 十个仿真任务上把平均成功率从 51.2% 提升到 76.4%,在双臂 PiPER 真机三任务上从 16/60 提升到 50/60,并优于点云与隐式立体基线。
深度剖析
ExStereo 把预训练 2D VLA 提升为具备度量 3D 感知的策略,且无需重新预训练基座模型。 此前 StereoVLA 需从头训练 VLA,StereoPolicy 对预训练 VLA 仅带来有限提升;ExStereo 以可插拔模块形式接入现成 VLA。 在 RoboTwin 十个任务上平均成功率由 51.2% 升至 76.4%,SmolVLA 由 18.7% 升至 42.0%;真机三任务合计 50/60 对基线 16/60。
显式立体表征在动作专家中直接使用,优于把隐式立体特征拼进 VLM 的做法。 论文将 StereoVLA/StereoPolicy 归为隐式表征,并首次系统对比显式多视图 token 直接进入动作专家的效果。 消融中显式特征在 Lift Pot 为 66.7、Open Laptop 为 72.0,隐式特征分别为 32.0 与 20.0;真机上 StereoVLA 为 11/60,低于 RGB 基线。
引入带掩码自编码目标的 mid-training 阶段,使策略能在不完整观测下学习稳健 3D 表征。 在预训练与任务 post-training 之间插入中间阶段,用 StereoEngine 生成的大规模立体数据训练,post-training 时冻结立体模块以防过拟合。 带 MAE 的 mid-training 在 Lift Pot 为 61.3、Open Laptop 为 92.0,均高于不带 MAE 的 57.3 与 90.7;去掉 mid-training 后真机降至 36/60。
启示与展望
该结果面向配备标定双目相机、以桌面平面为主要工作面的双臂操作场景,适用于希望在不重训基座 VLA 的前提下快速获得度量 3D 感知的研究者与工程团队。方法依赖冻结的 Fast-FoundationStereo 与 StereoEngine 生成的大规模立体数据,mid-training 任务与评测任务在任务与物体上均不重叠,post-training 仅用 100 条干净演示,说明该流程在有限任务演示下即可适配。
立体基础模型在远处、无纹理与细薄结构上可能退化,其误差会传导到多视图观测;点云来自单一立体视角,遮挡区域在四个渲染视图中都会留下空洞;多视图渲染假设存在桌面平面来定义世界坐标系,在杂乱或非桌面场景中未必成立;mid-training 数据来自单一基准与单一双臂本体,向更大立体机器人数据集与更多本体的扩展仍是开放方向。此外,mid-training 在部分任务上带来性能下降,作者将其归因于 mid-training 任务选择,并推测选用与 post-training 更相似的任务可能缓解,这一点尚待验证。
