TrajWAM 让驾驶规划器多学一条未标注轨迹:Bench2Drive 220条路线驾驶得分91.53,比同日程纯规划微调高5.31分
核心概要
TrajWAM 把一条四路点自车轨迹作为查询,接到视觉语言驾驶规划器共享表示上的鸟瞰图未来预测分支,训练时同时做已执行轨迹下的事实重建和扰动轨迹下的单向特征分离,部署时直接输出路点、跳过该分支。在 Bench2Drive 全部220条路线上,它取得91.53驾驶得分和75.45%成功率,比同日程纯规划微调基线高5.31分、多9条成功路线。
深度剖析
视觉语言驾驶规划器在训练时多了一条可查询的未来轨迹通道:自车轨迹被编码后调制共享规划器表示上的鸟瞰图未来预测,使未来监督与路点生成共用同一套表示。 此前的未来监督要么与轨迹无关,要么只对已执行的那一条轨迹有观测结果,驾驶记录中替代轨迹的未来没有标签。 在 Bench2Drive 全部220条路线上,完整方法取得91.53驾驶得分和75.45%成功率,比同日程纯规划微调基线高5.31分并多9条成功路线;在120条路线的两随机种子对照中,正确轨迹配对比组内打乱配对平均高4.25驾驶得分。
训练时把已执行轨迹和一条扰动轨迹配成一对,同一场景下分别预测未来特征,让预测对轨迹查询敏感。 扰动轨迹由前向距离独立缩放、横向坐标加高斯噪声构造,其未来结果未被观测,因此只能用作单向分离的参照。 事实重建把已执行查询的预测拉向冻结 DINOv3 教师给出的当前锚点与四个未来时刻的鸟瞰图特征;分离项以已执行查询的预测为停止梯度的参照,推动扰动查询的预测偏离,两项损失都回传到规划器最后四层以及轨迹编码和调制模块。
部署时规划器仍按原生路径自回归生成推理文本和四个路点,未来预测分支被旁路。 辅助分支只在训练期存在,推理提示中保留固定的未来查询 token。 在单张 RTX 5090、批大小为1的测试中,TrajWAM 生成中位耗时3.5086秒,公开 DeepSight 为3.4926秒,两者提示均保留1305个未来查询 token。
启示与展望
评测在 CARLA/Bench2Drive 仿真中进行,全量220条路线使用一个训练种子,组件与打乱配对对照在120条路线子集上使用两个训练种子;预测诊断使用15条新采集回合、374个窗口,其中371个窗口有速度与方向匹配的替代查询。
分离项在提高驾驶得分的同时使未来特征均方误差从0.02985升到0.03020,说明规划增益并非来自更准的重建;替代轨迹的真实结果未被观测,分离也作用于当前时刻锚点;公开初始化模型的预训练路线覆盖范围未知。
