跳到主要内容
返回时间线
arXiv来源发表:

离散扩散开上自动驾驶:MD-Drive在NAVSIM把PDMS做到88.9,训练数据只要15.3万样本

核心概要

自动驾驶的视觉语言模型此前多按自回归逐词生成轨迹,误差会沿序列累积。MD-Drive在标准视觉语言模型架构上把轨迹坐标离散成词元,用掩码离散扩散整体去噪,并在监督微调、强化学习和推理三个阶段分别加入轨迹离散化、多样性筛选和按场景风险切换方向的动态解码。在NAVSIM闭环基准上,MD-Drive取得88.9的PDMS,比同架构自回归基线DrivingGPT和FSDrive分别高6.5和3.8分,训练数据为15.3万样本。

Source-provided article image: Towards Robust Vision-Language Reasoning: A Multi-Stage Optimization Pipeline with Masked Diffusion Model
arXiv

深度剖析

自动驾驶的视觉语言模型可以不再逐词生成轨迹,而是把整条轨迹当作一串待去噪的词元一次性规划出来。 此前的自回归视觉语言模型按下一个词元预测逐步生成,推理依赖顺序生成,容易累积误差,限制复杂场景下的长期规划。 在NAVSIM闭环基准上,采用离散扩散的MD-Drive取得88.9的PDMS,同架构自回归基线DrivingGPT为82.4、FSDrive为85.1。

做法是把每个二维路点坐标映射到一维码本,整条轨迹变成扁平词元序列,再由掩码扩散模型迭代去噪恢复。 监督微调阶段用轨迹离散化替代连续坐标的文本序列化,以抑制冗余词元带来的噪声;强化学习阶段用pass@1与pass@8指标筛选多样性与准确率兼顾的检查点作为起点,并只保留中等和困难样本。 在NAVSIM上,未做离散化的连续基线PDMS为68.5,加入离散化后升到78.2,词表规模0.25、量化误差0.125的设置取得81.4。

启示与展望

结果覆盖NAVSIM闭环基准以及nuScenes和DriveCoT两个开环数据集,模型以DreamVL为基座、在四块NVIDIA H800上以bf16精度训练;这些是已展示的评测范围,材料未给出实车或更广泛道路场景的验证。

材料指出DriveCoT上驾驶行为标注本身存在歧义,同一场景可能有多种合理动作,MD-Drive与DriveCoT-Agent的加权F1差距被部分归因于此;此外,检查点选择依赖多随机种子的pass@8稳定性,平均PDMS较低的检查点反而在GRPO后表现更好。