跳到主要内容
返回时间线
arXiv来源发表:

候选轨迹评估不再逐条推演未来:RFWorld 改用共享场景记忆,NAVSIM 上 PDMS 达 90.5

核心概要

端到端自动驾驶要在多条候选轨迹中挑一条执行,此前的世界模型评估器会为每条候选沿规划时域显式预测未来状态,推理开销随候选数和时域增长,还会累积预测误差。RFWorld 改为只构建一次与轨迹无关的共享场景记忆,训练时用带语义监督的轻量时序读出塑造它,推理时让候选轨迹通过稀疏空间读出直接查询打分。在 NAVSIM-v1 上,RFWorld 以 ResNet-34 骨干取得 90.5 的 PDMS,高于表中 DriveDPO 的 90.0 与 ResWorld 的 89.0。

Source-provided article image: Trajectory Evaluation via Rollout-Free World Model for End-to-end Autonomous Driving
arXiv

深度剖析

候选轨迹评估不再需要为每条候选重建整幅未来场景,而是让所有候选共享同一份场景记忆并从中读取打分所需的信息。 此前的模型式评估器把评分做成未来感知的方式,是对每条候选在规划时域上显式预测未来状态,也就是 rollout,推理成本随规划时域和候选数增长,递归预测还会累积误差。 在 NAVSIM-v1 上,RFWorld 在 ResNet-34 设置下取得 90.5 的 PDMS,表中 DriveDPO 为 90.0、ResWorld 为 89.0、WoTE 为 88.3;消融中不加未来监督直接加世界模型为 88.4,仅加未来监督为 89.4。

共享记忆由当前鸟瞰图特征经 Transformer 潜世界模型一次生成,训练阶段再用时间读出给它注入可预测的时间结构。 训练时对若干未来时刻做带语义监督的时序读出,用共享的语义解码器预测各时刻的鸟瞰语义图,当前时刻与所选未来时刻分别由对应语义目标监督。 监督的未来时刻从 0 个增至 8 个时,PDMS 从 88.4 依次升到 89.5、90.0、90.3 和 90.5,说明未来监督是共享记忆获得预测结构的关键。

推理时每条候选轨迹的每个路点作为空间查询,通过可变形注意力在共享记忆上做稀疏采样,再聚合成轨迹得分。 推理阶段不解码未来语义图,也不做逐候选 rollout,候选路点直接查询同一份记忆,因此记忆只需计算一次并在候选间复用。 候选数从 256 增到 1024 时,RFWorld 的延迟从 35.1 ms 升到 37.5 ms,PDMS 从 89.6 升到 90.5;同样设置下 WoTE 延迟从 37.0 ms 升到 49.2 ms,训练显存为 33.9 GB,而 RFWorld 为 8.7 GB。

启示与展望

演示范围是 NAVSIM-v1 开环评测与 CARLA 上 Bench2Drive 的闭环仿真,输入为 LiDAR 特征、自车状态和多视角图像,输出为 1024 条锚点候选上的打分与选择;作者提出用稀疏场景 token 替代稠密鸟瞰特征以改善高分辨率未来预测的可扩展性。

共享记忆的质量仍取决于记忆塑造监督的形式,语义目标目前训练时必需,作者把伪标签和自监督时序目标列为后续方向;观察到的失败主要出现在轻量感知骨干给出不准确场景特征,或相关道路几何与交通参与者位于观测范围附近或之外时,这些误差会传播到轨迹打分。