跳到主要内容
返回时间线
arXiv来源发表:

配电网三相不平衡改由智能体调度:MADWMPG在IEEE 123节点上把累计越限代价压到0.006

核心概要

针对含相变软开关(PCSOP,可在不同相位间直接转移有功的电力电子装置)的多相有源配电网,MADWMPG把三相电压与馈线首端功率不平衡的调度交给多智能体安全强化学习。它用宽间隔分类器在行为策略与备用策略之间切换,并用非交叉分位数评论家刻画回报分布。在改造后的IEEE 123节点测试馈线上,其累计风险调整越限指标为0.006,而DDPG为35.010、TD3PG为4.571、RCPO为5.103、PID-Lagrangian为0.076;平均测试步奖励0.957,低于ACOPF专家解的0.989。

Source-provided article image: Safely Mitigating Grid Imbalance: A Hybrid Distributional Wide-Margin Recourse Approach
arXiv

深度剖析

配电网三相不平衡的实时调度不再只靠单一期望回报驱动的强化学习,而是由一组行为策略和一组备用策略共同决定每个相变软开关的出力。 此前的深度强化学习调度只优化累计折扣回报的标量期望,安全强化学习则多在收敛策略上才给出安全性,训练探索阶段仍会频繁越限。 在改造后的IEEE 123节点测试馈线上,MADWMPG的累计风险调整越限指标为0.006,同一测试中DDPG为35.010、TD3PG为4.571、RCPO为5.103、PID-Lagrangian为0.076。

每个相变软开关的动作先由物理预测—校正环节生成,再交给集中式宽间隔分类器判断整组联合动作是否安全,不安全时切换到备用策略。 分类器用合页损失把安全与不安全动作尽量分开,备用策略以行为动作为条件学习状态相关的修正映射,因此同一状态下不同越限来源会得到不同的修正动作。 训练与测试都在含三个分布式相变软开关的改造IEEE 123节点馈线上进行,负荷取自挪威124节点配电网数据集,光伏出力取自UNISOLAR开放数据集,按约87:13划分训练集与测试集。

回报不再被压成一个期望值,而是用非交叉分位数回归的评论家估计整条回报分布。 分位数之间强制保持单调,避免行为策略与备用策略动作分布不一致时出现价值估计偏差。 测试集为跨全年抽取的8天、共3840个调度时刻,调度间隔为3分钟。

启示与展望

演示范围限于改造后的多相IEEE 123节点测试馈线,接入三个分布式相变软开关,负荷与光伏曲线来自公开数据集,调度间隔为3分钟;推理在分散执行下平均约6毫秒,保留分类器与备用策略的集中执行约11毫秒。

安全保证是概率性的软界,依赖备用策略所提动作预测安全分数非负这一假设;馈线首端功率不平衡的奖励分量分布更宽,作者将其归因于智能体只能看到母线净注入特征而缺少拓扑信息。