DeNA-SGN把学习到的图注意力换成固定逻辑:29万余次测试查询的类别判定与导出模型逐条一致
核心概要
脉冲图学习此前多依赖学习到的边权重或随机脉冲编码,难以把整条推理电路完整编译并逐条核对。DeNA-SGN改用固定的OR与含并列的Majority两种二值邻域汇总,再接一个学习符号权重的阈值分类器,并借助与度数相关的抑制控制神经元把Majority实现为共享控制电路,整体编译进SuperNeuroMAT模拟器。在七个数据集、41个映射分类器上,原生仿真与导出的人工网络在每一个被评估的类别判定和输出脉冲模式上一致;新增的Amazon Photo确认集上电流读出准确率为83.93±0.93%,严格输出脉冲准确率为71.61±2.22%。
深度剖析
脉冲图分类现在可以走一条完全由阈值神经元和固定逻辑算子构成的推理路径,邻域聚合不再需要学习边权重,也不再需要随机脉冲编码。 此前的脉冲图方法要么先用实数图卷积再编码成脉冲,要么把引文关系当作突触、靠在线脉冲时序可塑性传播标签,聚合环节本身没有可逐条核对的固定电路。 在七个数据集、41个映射分类器上,原生仿真与导出的float64人工网络在每一个被评估的类别判定和输出脉冲模式上一致,共293,577次基准测试查询执行,另有3,000次OR对照查询通过同样的判定检查。
每个二值特征只保留两种邻域证据:闭邻域内是否出现过该特征,以及是否至少一半邻居支持该特征,二者送入一个无偏置的两层阈值分类器。 Majority的阈值随查询节点度数变化,这里用普通固定阈值神经元配合带符号的抑制电流实现,控制神经元数量随最大闭邻域规模对数增长,与特征维度无关。 完整电路在SuperNeuroMAT 3.5.0稀疏CPU模式下编译执行,查询、中继、控制、特征、隐藏、输出与观测神经元全部计入资源统计,Cora上共7,521个神经元和304,868个突触。
在同一Cora公开划分、相同种子与训练预算下,加入Majority通道比只用OR通道带来1.63个百分点的平均电流读出准确率提升。 OR单独使用时电流读出准确率为73.27±0.21%,OR+Majority为74.90±2.67%,代价是额外551个部署神经元,比OR多7.91%。 该比较为三个初始化种子的运行均值,作者明确不据此推断统计显著性;作为人工网络参照的GAT在同一划分上达到81.47±0.90%。
启示与展望
演示范围是SuperNeuroMAT 3.5.0稀疏CPU模式下的转导节点分类,覆盖Cora、CiteSeer、PubMed、KarateClub、Wiki-CS、ogbn-arxiv与Amazon Photo七个数据集,资源统计包含全部图节点与支撑神经元。当前argmax在主机上解码,能量为解析建模而非硬件实测。
作者说明三运行标准差只是描述性离散度,Wiki-CS的20个掩码共享测试节点;二值化丢弃连续幅值,arxiv图被对称化,图或特征改变需要重新编译。能量比值依赖图规模、活动水平与比较对象,在ogbn-arxiv上降为0.53,因为对更大规模部署神经元群体计时主导了建模成本。
