跳到主要内容
返回时间线
arXiv来源发表:

多模态驾驶策略怕的不是噪声而是错位:STA在CARLA把PPO碰撞率从16.8%推到35.6%,攻击次数还少17.8%

核心概要

多模态强化学习驾驶策略依赖摄像头、激光雷达与车辆状态在时间上对齐,一旦某一路观测被延迟,融合后的表征就不再对应同一时刻。STA把这种时间错位当作统一的攻击面:用历史缓冲把选定模态的当前观测替换为若干步之前的读数,并用一个拆分决策的智能体同时决定何时攻击、攻击哪一路。在CARLA仿真中,面对PPO策略,STA把碰撞率从最强基线ADV的16.8%提高到35.6%,执行攻击次数从29.396降到24.168,即少用17.8%的干预。

Source-provided article image: STA: A Split Temporal Adversary Method for Evaluating Robustness of Multimodal RL-based Driving Policies
arXiv

深度剖析

STA把跨模态时间错位本身当作攻击面,而不是给某一路传感器叠加噪声,从而在摄像头、激光雷达和车辆状态这类异构输入上使用同一套扰动方式。 此前的对抗攻击多依赖模态专属扰动,例如图像噪声或激光雷达点扰动,这类扰动与具体传感器绑定,难以直接检验时间一致性这一漏洞。 在CARLA 0.9.13的Town02密集交通场景中,面对PPO策略,STA把碰撞率从最强基线ADV的16.8%提高到35.6%,同时把每回合平均攻击次数从29.396降到24.168。

攻击由两个分支协同完成:一个分支决定是否在当下发起攻击,另一个分支决定延迟哪一路模态,两者在有限攻击预算下分别优化。 此前的时序扰动方法多采用随机模态选择或固定注入时刻,不利用受害策略的反馈,也不考虑攻击预算。 智能体以受害策略输出的干净动作和剩余攻击预算作为观测,用PPO训练,并以碰撞作为稀疏奖励;在SAC策略上STA同样是最强攻击,碰撞率18.2%对ADV的16.8%,但优势更小。

时间错位的效果取决于受害策略本身,对空间扰动鲁棒的策略未必对时间错位鲁棒。 DARRL策略对空间攻击ADV的碰撞率为32.2%,高于对STA的18.6%,说明两类威胁暴露的是不同失效模式。 在同一个Town02配置下,STA延迟图像帧后使基于视觉语言模型的驾驶策略碰撞率达到62%,而干净、随机延迟和PGD条件均为0–2%。

启示与展望

评估在CARLA 0.9.13的Town02、密集交通和固定晴天条件下进行,受害策略接收RGB图像以及速度和路点状态,输出连续的转向与油门;每个设置汇总5个独立随机种子、每个种子50个评估回合。

STA的延迟步长目前固定为历史缓冲中最旧的条目,作者把自适应与可学习的延迟策略列为后续工作;对基于视觉语言模型的策略只做了单一配置的评估,更广泛的架构比较尚未展开。