视觉世界模型长程预测会漂移:JointGV外挂图动力学,关节位置误差降11–28%
视觉世界模型递归预测时,实体位姿与空间关系会逐步漂移,限制机器人的长程规划。JointGV在原有视觉模型之外并行推演一张任务条件场景图,把图节点与视觉状态在同一次动作下的变化耦合起来,用有界残差修正视觉预测,且修正梯度不回传原模型。在DMC的Cheetah Run、Walker Walk与Finger Turn Hard上,32步展开的关节位置误差降低11–28%。
视觉世界模型递归预测时,实体位姿与空间关系会逐步漂移,限制机器人的长程规划。JointGV在原有视觉模型之外并行推演一张任务条件场景图,把图节点与视觉状态在同一次动作下的变化耦合起来,用有界残差修正视觉预测,且修正梯度不回传原模型。在DMC的Cheetah Run、Walker Walk与Finger Turn Hard上,32步展开的关节位置误差降低11–28%。
已读完全部报道