跳到主要内容
返回时间线
arXiv来源发表:

黑箱船舶避碰系统怎么测:让两艘目标船各自改航,R-PPO策略在100个场景中撞出68个

核心概要

船舶避碰系统的安全评估通常依赖仿真,但协同仿真中各子系统只暴露接口、内部状态不可见,常规把问题写成完全可观测马尔可夫决策过程的压力测试方法拿不到完整状态。EB-ASTv2把这一搜索改写为部分可观测马尔可夫决策过程,用带记忆的循环近端策略优化(R-PPO)根据观测历史选择对抗动作,并让两艘目标船各自独立触发中间航路点采样。在船行场景的100个交通场景中,R-PPO策略生成68个本船碰撞场景,PPO为58个、SAC为54个;五次独立训练的平均碰撞率为66.80%,高于PPO的65.20%和SAC的51.80%。

Source-provided article image: Co-simulation-Based Safety-Assessment of Black-Box Maritime Cyber-Physical Systems
arXiv

深度剖析

船舶避碰系统的失效场景搜索现在可以在只看到接口输出的黑箱协同仿真里进行,不再要求测试智能体读取各子系统的完整内部状态。 此前的自适应压力测试把失效发现写成完全可观测的马尔可夫决策过程,智能体依据当前状态选择扰动;而协同仿真中的子系统往往只通过输入输出接口交换信息,内部动态被封装在编译后的模型里。 在船行场景的100个交通场景上,采用R-PPO的EB-ASTv2策略使本船与目标船发生碰撞的场景为68个,采用PPO的策略为58个,采用SAC的策略为54个。

方法把压力测试写成部分可观测马尔可夫决策过程,让策略从观测与动作的历史中推断当前局面,而不是只看当前一帧观测。 循环近端策略优化(R-PPO)在近端策略优化(一种限制每次策略更新幅度的强化学习算法)的演员与评论家网络中改用长短期记忆网络,使策略保留历史信息。 训练使用船行协同仿真,本船装有避碰系统,两艘目标船由智能体控制,训练集为船舶交通生成器产生的100个交通场景,每次重置随机抽取一个。

多船对抗通过事件活动掩码实现:每艘目标船只在自己触发决策事件时修改航路点,其余船只的动作不改变其轨迹。 原版EB-AST只控制单艘对抗船,且中间航路点采样只有角度一个动作分量;EB-ASTv2增加可变的采样作用长度,作为第二个动作分量。 五次独立训练中,R-PPO平均碰撞率66.80%、标准差2.17,PPO为65.20%、标准差4.97,SAC为51.80%、标准差5.36;单次最高分是PPO的71.0%。

启示与展望

评估范围是船行场景下的协同仿真:一艘装有简化避碰系统的本船,两艘由智能体控制、可中途采样中间航路点的目标船,训练与测试场景由船舶交通生成器产生。读者对象是从事仿真安全评估与强化学习测试的工程研究人员。

碰撞率是仿真中生成碰撞场景的比例,不是实船失效概率;简化避碰系统每次决策间隔只能应对一艘目标船,这一已知局限正是被利用的脆弱点。策略并非对每个初始条件都能找到失效场景,部分场景中两船的可达轨迹无法与本船轨迹相交。