JEPA4R改读单目深度相机点云:想象轨迹解码成4D点云,200步内平均误差不超过1.1厘米
核心概要
JEPA4R把JEPA世界模型的输入从图像换成单目深度相机的彩色点云,在点云潜空间里预测、规划并通过冻结潜空间上的策略头行动,作者称之为4D点规划。在OGBench的Cube-Single、Cube-Double、Cube-Triple和Scene上,它领先像素JEPA模型;在CortexBench的MetaWorld与Adroit Relocate上分别取得98.4%和88.0%成功率,排名第一,高于第二名R3M的96.0%和65.3%。附加在冻结世界模型上的解码器把每条想象轨迹还原为4D点云,200个环境步内平均点误差保持在1.1厘米以内。
深度剖析
JEPA4R让机器人世界模型直接读取单目深度相机的彩色点云,并在这些点云的潜空间里完成预测、规划和动作输出,作者把这一流程称为4D点规划。 此前的JEPA世界模型大多读取2D图像,度量几何与外观、视角纠缠在一起,像素模型必须自行推断深度;点云JEPA则多在不含动作的情况下预训练编码器,或只做LiDAR占据预测,度量几何很少进入负责预测和行动的模型。 在OGBench的Cube-Single、Cube-Double、Cube-Triple和Scene上,JEPA4R领先像素JEPA模型,其中Cube-Single为78.4%、Scene为64.8%;在CortexBench的MetaWorld与Adroit Relocate上分别取得98.4%和88.0%,排名第一,高于第二名R3M的96.0%和65.3%。
冻结的世界模型上附加一个解码器,把观测到的潜变量和想象出的潜变量都还原成点云,于是世界模型想象出的场景可以被直接看到。 JEPA潜变量被训练成可预测而非可重建,已有工具只把它们解码成图像或间接审计,想象出的3D场景一直不可见;而显式预测点或粒子的3D世界模型要让下一场景的每个元素都生成出来。 在OGBench Cube的4,096个验证帧上,单帧解码的平均最近邻距离为0.79厘米;让预测器自回归展开并逐步解码,想象轨迹的平均点误差在200个环境步内保持在1.1厘米以内。
策略头在冻结潜变量上训练,因此成功率反映的是潜变量为控制提供了什么,JEPA4R与所有基线共用同一套策略头。 JEPA世界模型多在仿真中按短时程目标到达来评分,用交叉熵方法搜索动作块,这种搜索只检验预测器在短的分布内时程上的表现,并不检验潜变量对机器人所学策略的支撑。 OGBench Cube使用GCIQL、Puzzle使用DQC,MetaWorld与Adroit Relocate使用CortexBench的模仿协议,每个任务在25条演示上做100轮行为克隆(Relocate为100条),取20次评估中的最好成绩;图像与点云数据集逐行记录同一批仿真轨迹,状态、动作、划分和起点一致。
只在数字孪生中训练的世界模型和策略头,在真实机械臂上以夹爪和灵巧手两种末端零样本运行。 DINO-WM和LeWM只在仿真中评估,V-JEPA 2-AC则在真实机器人视频上训练预测器;JEPA4R的训练数据来自其部署机械臂的孪生。 在RealMan RM75-B机械臂上,配Inspire EG2-4C2平行夹爪时完成夹取物体和推方块,配OYMotion AP001灵巧手时把物体从支架中拉出,每一步都由单目深度相机的点云编码后由策略头输出下一动作。
启示与展望
演示范围是单目深度相机的彩色点云、OGBench与CortexBench上的策略学习评估,以及RealMan RM75-B机械臂上夹爪与灵巧手的零样本执行;解码器在OGBench Cube数据上训练,想象轨迹的误差也在此任务上报告。作者把跨场景、跨机器人的通用世界模型列为超出本文范围,并把为JEPA世界模型收集高质量数据、是否存在通用配方作为下一步重点。
作者指出,跨场景与跨机器人的通用世界模型依赖大规模多样化3D机器人数据,这类数据仍然稀缺;如何为JEPA世界模型收集高质量数据、是否存在通用配方仍是开放问题。在OGBench Cube-Quadruple上,包括JEPA4R在内的所有编码器都只达到0.0,作者说明该任务的长时程策略难以从随机游玩数据中学到,OGBench的六种离线目标条件强化学习方法即使使用真值状态也同为0。在LeWM的目标到达规划设定下,JEPA4R与LeWM表现相当,差距在50次起点估计约6个点的波动范围内。
