ShoWorld把运动与形状拆开预测:动态类mIoU提升6.06点,3秒IoU反超GAST的1秒成绩
核心概要
占用世界模型要预测自动驾驶场景里每个体素未来的语义,但运动物体一直比静态区域难预测,动态类mIoU比静态低10.8到13.8点。ShoWorld把“物体往哪走”和“物体长什么样”拆成两个表示:运动预测器为每个物体给出多条带概率的轨迹,按概率把各条轨迹下的渲染结果融合;形状部分用带占用概率和偏移的亚体素点随物体刚性移动。在Occ3D-nuScenes上,给定真值占用和自车轨迹时,整体mIoU与IoU分别比此前最好的GAST高6.56和9.16点,动态类上高6.06和5.53点。
深度剖析
占用世界模型现在可以保留一辆车直行、转弯或停车等多个未来,而不是把它们平均成一条中间路径。 此前的占用世界模型大多不显式给出物体轨迹,或只用单一确定性流场描述运动,位置不确定性会被体素级监督摊到形状上。 在Occ3D-nuScenes上给定真值占用与自车轨迹,ShoWorld整体mIoU和IoU分别比GAST高6.56和9.16点,动态类上高6.06和5.53点。
每个运动物体先被编码成对象令牌,令牌里包含可行驶区域与障碍物构成的鸟瞰布局、与邻近智能体和自车的相对位姿,以及自车未来轨迹。 运动预测器从这些令牌出发,用可学习模式嵌入和固定运动锚点(保持、刹车、加速、左转、右转、边转边刹)生成多条平面刚体轨迹,并给出每条轨迹的概率。 推理时融合全部假设而非只取最可能的一条,在1、2、3秒三个预测时域上把动态mIoU分别提高0.72、1.27和1.43点,增益随时域增长。
形状不再靠移动体素中心再重新体素化,而是把每个体素在水平面内拆成若干亚体素点,每个点带占用概率和有界偏移。 重新体素化在真值运动下仍会在第一秒错置约22%的运动物体体素、第三秒约35%,造成空洞或物体尺寸胀缩。 在真值运动下比较渲染方式,学习到的亚体素点在1、2、3秒把IoU比体素中心分别提高2.8、3.3和3.3点;推理时换回体素中心,动态mIoU在三个时域分别下降0.53、0.51和0.48点。
启示与展望
演示范围是Occ3D-nuScenes上的4D占用预测,用700个训练场景、150个验证场景,从2秒历史预测未来3秒,并扩展到8秒;另在202个Occ3D-Waymo验证场景上做零样本评估。读者对象是关注自动驾驶占用世界模型与轨迹预测的研究人员和工程师。
每个物体被当作在地面内运动的刚体,因此行人四肢这类关节运动没有被建模;物体分组来自观测占用,分组误差会传入预测;形状只在当前帧计算一次,被遮挡部分仍然缺失,后进入场景的物体无法预测;融合在较长时域上仍低于最好的单条假设。
