量子中继协议不再先切路径:强化学习在交叉网络上把端到端纠缠率抬到路由式swap-ASAP之上
核心概要
在非线性量子网络上,纠缠路由把网络切成互不相交的路径、再在每条路径上并行运行链式协议,以此缩小搜索空间。该工作改用强化学习在更大的非路由协议空间中直接搜索,在八站交叉网络等小型网络上得到的端到端对数负性速率高于路由式swap-ASAP,即便后者处于被广泛认为最优的参数区间。作者据此主张路由应被非路由方法取代,并给出一个与改进幅度相关的网络评分。
深度剖析
量子中继协议的设计不再必须先沿互不相交的路径分配纠缠,而是可以在包含交叉路径的完整非路由协议空间中直接搜索。 此前的做法是把非线性网络切成若干互不相交的路径,在每条路径上并行运行链式协议,即纠缠路由,以此缩小搜索空间。 在一个八站、目标节点度数分别为四和二、生成与交换成功概率在0.7到1之间、相干时间无限的交叉网络上,训练后的策略端到端对数负性速率高于路由式swap-ASAP,差距以各自标准差衡量明显。
搜索由一个深度强化学习智能体完成,它把网络状态映射为下一步要执行的中继操作。 所用算法是Reinforce,一种对连续状态、离散动作空间适用的策略梯度方法,智能体由多层神经网络加ReLU激活构成,输出经softmax变成动作概率。 训练使用400批、每批100条、每条20个时间步的回合,采用ADAM优化器;性能在训练后200次模拟上统计,并以对数负性速率作为奖励与评价指标。
为让动作空间从随网络规模指数增长降到多项式增长,智能体一次只选一个基本操作,并把它们缓存成复合操作。 若直接对全部可并行操作建模,最后一层神经元数会随网络规模指数增长,因此改为动作序列化,只保留单次生成或单次交换这类基本动作。 状态编码由贝尔边邻接矩阵与动作缓存指示向量拼接而成,规模随网络规模多项式增长;动作掩码把物理上不可能或必然失败的动作概率置零。
启示与展望
演示范围限于作者构建的网络模型:以单个量子存储器为图节点,包含有故障的纠缠生成与交换、退极化退相干以及参数不均匀性,并在八站交叉网络、长度5的链、kite网络和方形晶格等小型网络上训练与评估。读者对象是量子网络与强化学习方法的研究者;作者提出的后续方向包括加入纠缠纯化、更细致地建模经典通信延迟,以及用分布式的多个智能体替代单一智能体。
作者明确指出结论并非对所有网络成立:在相干时间很高的链式网络中,Reinforce与路由式swap-ASAP表现相同。改进幅度的解释依赖一个由被丢弃路径得分之和定义的累积非交换评分,其与改进的相关性来自所测试的若干网络,而非证明。实验参数取生成与交换成功概率0.7到1、初始Werner参数为1、相干时间无限,目的是让swap-ASAP在各条路由上接近最优。
