跳到主要内容
返回时间线
arXiv来源发表:

冻结的RiskWorld不再靠固定规则挑轨迹:加一个11,725参数排序网络,nuScenes开环平均L2降3.99%

核心概要

自动驾驶世界模型能预测候选轨迹的未来,但从中挑一条仍依赖手工阈值和字典序优先级,取舍在训练前就被写死。一种残差引导的强化学习方法在冻结的RiskWorld世界模型和固定候选库之上,用PPO联合训练候选选择与有界轨迹残差,推理时只保留一个11,725参数的排序网络。在nuScenes验证集150个场景的开环评测中,平均L2从RiskWorld官方基线的0.405 m降到0.389 m,相对下降3.99%;在反馈访问与actor更新预算匹配时,残差探索比无残差的分类PPO再降0.83%。

Source-provided article image: Residual-Guided Lightweight Reinforcement Learning for Risk-Aware Trajectory Selection with a Frozen World Model
arXiv

深度剖析

轨迹选择层可以在世界模型和候选生成器都不改动的前提下学习随场景变化的候选偏好,部署时只增加一个11,725参数的排序网络。 RiskWorld等世界模型把占用演化与结构化风险表示结合起来,但从中挑一条轨迹仍依赖手工阈值和字典序优先级,这些固定取舍在训练前就被写死。 在nuScenes验证集150个场景的5,119个上下文上做开环评测,平均L2从RiskWorld官方固定基线的0.405 m降到0.389 m,相对下降3.99%。

训练阶段让策略在所选候选附近采样有界残差,用这些局部轨迹的反馈来更新共享的排序特征,推理时仍返回原始候选的存储坐标。 此前的PPO、A3C和期望回报方法只用原始候选的反馈,没有在候选附近做局部探索。 在反馈访问9,830,400次、actor更新800次的匹配预算下,带残差探索的版本比不带残差的分类PPO平均L2再降0.83%,平均碰撞率点估计从0.101%降到0.098%。

推理时的选择器把学到的偏好排序与冻结世界模型给出的碰撞风险排序按固定权重相加,取加权和最小的有效候选。 固定选择规则无法把学习到的偏好与预测风险放在同一序数尺度上权衡。 风险特征置零时本方法平均L2为0.5698 m、RiskWorld为0.6399 m;风险特征打乱时为0.4636 m对0.5004 m,两种扰动下本方法点估计均更低。

启示与展望

评测限定在nuScenes验证集的开环设定,输入使用标注的交通参与者状态与地图,只涉及单一骨干和单一数据集;源文提出下一步应做反应式闭环评测以考察实际执行与交互,并在更多骨干和数据集上使用感知输入检验迁移与鲁棒性。

开环指标以记录的交通参与者轨迹为参照,不能说明闭环执行表现;平均L2的改善幅度有限;风险特征置零或打乱后两种方法的误差都上升,说明性能仍依赖风险输入。