跳到主要内容
返回时间线
arXiv来源发表:

AutoE2E以Apache-2.0开源:不含语言模块的端到端驾驶模型,79.9M参数中仅1.45M可训练

核心概要

Autoware基金会Robotaxi工作组开源了AutoE2E v1.0,一个不含语言模块的确定性端到端驾驶模型,把六路相机、高清地图栅格和选定路线栅格融合成鸟瞰图表示后直接输出轨迹。模型约79.9M参数,其中仅约1.45M在评测配置下参与训练,其余为冻结的相机BEV主干。在KITScenes验证集上,微调检查点在三秒预测时域的平均位移误差为0.745米、终点位移误差为2.020米;该评测为开环回放,模型尚未展示经过验证的闭环自动驾驶能力。

Source-provided article image: AutoE2E: Don't speak - Language free end-to-end autonomy A Real-Time Driving Model for L2++ ADAS and L4 Robotaxis
arXiv

深度剖析

开源驾驶模型AutoE2E v1.0把相机、高清地图和路线三种输入合成一个鸟瞰图表示,再由一个确定性规划器直接给出未来轨迹,推理时不采样多条候选。 此前这一路线的代表系统多为视觉-语言-动作规划器,参数量在40亿到100亿量级,并依赖教师-学生蒸馏来压缩到车载推理预算。 在KITScenes验证集117个场景、11035个样本上,微调检查点在三秒时域的平均位移误差为0.745米、终点位移误差为2.020米,同一检查点在五秒时域为1.94米和5.56米。

模型把冻结的时序相机鸟瞰图主干与新增的导航通路拼接起来,导航通路分别编码高清地图栅格和路线栅格,再以门控残差和可变形交叉注意力注入相机表示。 地图与路线各用独立编码器,路线贡献由一个零初始化的逐通道门控控制,该门控在训练开始时权重为0.5;融合输出投影与末层全连接零初始化,使训练开始时融合不改变预训练相机主干的表示。 全部79,906,522个参数中97.98%属于冻结的相机通路,只有1,448,582个参数在轨迹训练中更新,分布在GRU规划器、导航融合、地图与路线编码器和路线重建头上。

启示与展望

已展示的范围是KITScenes验证集与测试集上的开环轨迹回放,主评测在相机、高清地图和路线三者齐备的条件下进行,测试集因不公开地图而只作为纯相机鲁棒性轨道。读者对象是希望复用或审计端到端驾驶基线的研究人员与工程团队,真实车辆部分仅为慕尼黑工业大学EDGAR平台上的初步研究。

高清地图与路线是否提升规划精度,现有证据不支持因果结论,因为验证集与测试集是不同场景总体,且没有同场景的纯相机对照。外部回放只覆盖5秒,6.4秒输出中约22%未被评测;路线是按已行驶车道事后拟合的,对路线错误的鲁棒性未测量。与NVIDIA AlpaSim的首次闭环集成中,基线检查点在五个NuRec场景里均未碰撞,但五个场景中有四个在接管后2.5至4.1秒内驶出道路。