跳到主要内容
返回时间线
arXiv来源发表:

智能体只看总需求也能学均衡:十产消者微网里单边偏差间隙为0.332

核心概要

在奖励只取决于自身动作与他人动作总量的马尔可夫博弈中,一种新的去中心化学习算法让每个智能体利用广播的总量反馈评估所有候选动作的即时收益,并用历史总量预测下一步损失,而无需观察对手的个体动作或状态转移核。算法给出依赖预测误差的高概率遗憾界,并保持标准最坏情况阶;在含随机可再生能源与共享储能的十产消者微网中,其最终单边偏差间隙为0.332,低于三种学习基线,且用户收益与可再生利用率保持良好。

Source-provided article image: Exploiting Aggregate Feedback for Decentralized Equilibrium Learning in Markov Games: A Smart Grid Application
arXiv

深度剖析

智能体在不知道对手个体决策的情况下,也能利用一个公共的总量信号来学习博弈均衡,而不必只从自己实际执行的动作上获得反馈。 此前的去中心化马尔可夫博弈学习算法主要依赖老虎机式反馈,只看到被选中动作的收益,没有利用总量观测中额外包含的信息。 在十产消者微网实验中,该算法训练后的单边偏差间隙为0.332,低于Mao式V学习、其自适应阶段变体,以及丢弃即时损失全反馈的老虎机消融这三种学习基线。

每个智能体用已知的本地奖励函数和观测到的总量,算出所有候选动作的即时损失,再用历史总量预测下一次的即时损失,而延续价值仍只从被选中动作的状态转移中学习。 这一混合反馈设计把即时损失从老虎机反馈变成全反馈,同时保留对未知转移核的老虎机式估计,因此不需要对手的个体信息,也不需要知道转移核。 算法把学习分成慢、快两个时间尺度:慢尺度按总量波动自适应调整阶段长度并做乐观价值估计,快尺度在每个阶段内用聚合预测型Exp3-IX更新策略;在微网实验中,其归一化偏差间隙曲线下面积低于Mao式V学习。

启示与展望

演示范围是一个十产消者、五时段、含随机可再生能源与共享储能的微网仿真,每个设置用五个匹配随机种子训练,并在300个独立测试回合上评估;理论保证针对由历史策略构造的认证输出策略,而实验报告的偏差间隙是对当前策略的离线诊断。

仿真使用了减半的阶段末奖励,因此实验结果并不实例化未缩放奖励下的定理,也不意味着最坏情况收敛速度有所改进;理论保证针对认证输出策略,而直接学到的策略只是观测到偏差间隙较小、收益较好。