端到端自动驾驶只需上传一次模型:FedE2E在Bench2Drive闭环评测拿到55.85驾驶分
核心概要
端到端自动驾驶的联邦训练此前通常要多轮通信,且多用开环误差衡量,难以反映连续驾驶中的误差累积。FedE2E让每个客户端只上传一次模型权重,服务器用这些模型作教师、以自身数据做知识蒸馏,经多客户端校准、锚点对齐和逐词元共识蒸馏合成全局模型。在CARLA的Bench2Drive闭环评测中,单轮设置下驾驶分55.85,比同样采用蒸馏的FedDF高4.07分,但仍低于集中式训练的63.30。
深度剖析
端到端自动驾驶模型现在可以在每个参与方只上传一次权重的情况下完成联邦融合,服务器不再需要客户端参与后续训练。 此前的端到端驾驶联邦方法通常依赖多轮客户端与服务器通信,而现有的一次性联邦方法主要面向分类任务,在端到端驾驶上探索有限。 在CARLA 0.9.15与Bench2Drive的220条评测路线上做闭环评测,单轮设置下FedE2E驾驶分55.85,高于同样使用知识蒸馏的FedDF的51.78,也高于FedAvg、FedRDN和FedProx。
服务器把多个独立训练的客户端模型当作教师,把它们的驾驶知识蒸馏进一个学生模型,即全局模型。 多客户端校准先用服务器端蒸馏数据重估每个教师模型的批归一化统计量,锚点对齐再用正交变换把教师特征映射到学生特征空间,逐词元共识蒸馏按各教师特征的一致程度分配权重并融合。 实验用Bench2Drive四个城镇的数据构成非独立同分布设置,客户端模型为CIL++架构、ResNet34骨干,评测覆盖超车、汇入、紧急制动、让行和交通标志五项驾驶能力。
一次性融合得到的全局模型还能作为后续联邦训练的起点。 在FedE2E融合之后接上FedAvg继续训练,五轮通信后驾驶分达到60.35,高于FedAvg的58.54和FedDF的58.77。 逐轮结果显示第三轮时驾驶分为59.58,已超过基线中最好的五轮结果58.77,即达到该水平所需通信轮数从五轮降到三轮。
启示与展望
评测在CARLA 0.9.15仿真器与Bench2Drive基准的220条路线上完成,训练与测试使用不同城镇,覆盖超车、汇入、紧急制动、让行和交通标志五项驾驶能力;客户端模型统一采用CIL++架构。
单轮设置下FedE2E的驾驶分55.85仍比集中式训练的63.30低7.45分;在让行能力上FedDF更好,在交通标志上FedRDN得分最高;服务器端蒸馏数据集的选择会影响结果,四个设置中驾驶分在54.03到57.47之间变化。
