视觉世界模型长程预测会漂移:JointGV外挂图动力学,关节位置误差降11–28%
核心概要
视觉世界模型递归预测时,实体位姿与空间关系会逐步漂移,限制机器人的长程规划。JointGV在原有视觉模型之外并行推演一张任务条件场景图,把图节点与视觉状态在同一次动作下的变化耦合起来,用有界残差修正视觉预测,且修正梯度不回传原模型。在DMC的Cheetah Run、Walker Walk与Finger Turn Hard上,32步展开的关节位置误差降低11–28%。
深度剖析
视觉世界模型可以不改动自身结构,就借助一条独立预测的关系状态来抑制长程漂移。 此前的做法要么改变原生预测表示,要么在同一潜变量通路上学残差,要么直接换成以物体或图为中心的世界模型,都没有处理图节点与视觉状态元素不对应、特征空间不共享时的修正问题。 在DMC Cheetah Run、Walker Walk与Finger Turn Hard上,32步展开的关节位置误差降低11–28%,DINO-WM与DreamerV3两种视觉状态都受益。
修正作用在预测变化量上,而不是绝对特征上。 同一动作引起的图节点变化与视觉状态变化被投影到共享空间后做软匹配,空间令牌用Sinkhorn最优传输,全局潜变量用归一化注意力池化。 在三个随机种子上,DINO-WM的Cheetah Run配对比较显示,仅视觉残差把32步误差从0.898像素降到0.894像素,而JointGV降到0.791像素。
图推演还提供节点预测位置,作为修正的空间参照。 变化对齐只捕捉状态演化,不含绝对图像位置,因此修正模块同时接收按预测位置路由的节点特征。 把同一份平均图运动广播给所有令牌也能改善骨干,而余弦耦合与OT耦合进一步把32步误差降到0.793与0.791像素,两者精度相近。
启示与展望
已展示的范围是DMC的Cheetah Run、Walker Walk与Finger Turn Hard,以及RM65-B倒立摆的真实机器人开环预测和MuJoCo仿真控制;真实硬件上尚未实现稳定的六秒平衡,高速运行存在不可忽略的指令延迟。
修正依赖图观测与预测质量,连杆在图像中严重重叠时会出现节点定位误差;图初始化误差增大时两种配置都会退化,Sinkhorn OT版本在较大扰动下仍保持改善,而主插件会差于骨干;角色目前由任务预先定义并需要监督。
