脉冲网络也能做视频人体姿态估计:SpikePose把算术能耗降九成,精度只差1.12个点
核心概要
脉冲神经网络擅长省电,却难以处理逐帧到达的普通视频。SpikePose把空间编码交给每帧重置、只做单步推理的脉冲编码器,把跨帧推理交给骨干之外的轻量热图记忆模块,由它估计关节位移、对齐历史热图并自适应融合。在NTU60固定测试子集上,与同样带该记忆模块的同架构人工神经网络相比,SpikePose估计算术能耗降低91.4%,代价是头骨归一化PCK@0.5低1.12个点。
深度剖析
SpikePose把视频人体姿态估计拆成两件事:每帧的空间证据由脉冲编码器给出,帧与帧之间的运动由骨干网络之外的一个轻量热图记忆模块处理。 此前的脉冲网络多用于静态图像,把膜电位动力学展开成多步来细化同一张图的表示;但重复处理同一帧并不能揭示帧间位移,直接保留未对齐的膜状态又会因关节移动而错位。 在NTU60官方Cross-Subject划分的冻结测试子集上,该子集含4563段视频、419968个物理帧,与同样带该记忆模块的同架构人工神经网络相比,SpikePose估计算术能耗降低91.4%,头骨归一化PCK@0.5低1.12个点。
跨帧推理被压缩成一个在热图域上维护的紧凑状态,不再进入高维骨干。 该模块先用相邻两帧的原始空间热图算出关节的粗略帧间位移,再用一个两层偏移头预测有界残差修正,残差每轴最多两个热图像素,相当于输入分辨率下的八个像素。 随后用双线性采样把上一帧记忆对齐,由一个门控头给出逐关节、跨空间共享的历史保留门,再与当前预测做残差融合;在SpikePose内部加入该模块后,速度误差和加速度误差分别下降28.13%和31.46%,定位还略有提升,代价是0.003M参数和每帧约0.0023个解析GFLOPs。
运动质量上的收益在整体轨迹指标上仍然成立,但并非在所有速度段都占优。 与在同一套DARK解码坐标上运行、参数在验证集上选定后固定到测试视频的One Euro滤波器相比,SpikePose的整体MPJVE和MPJAccE分别好3.0%和2.5%。 在高速视频上,SpikePose把MPJAccE从9.90降到9.33,代价是PCK从73.13降到72.88;而在低速和中速段,One Euro的MPJAccE更低。
启示与展望
演示范围是MPII图像基准上的逐帧空间编码,以及NTU60官方Cross-Subject划分中一个冻结的4563段视频、419968个物理帧测试子集;所有方法在每段完整视频上使用同一个由骨架导出的管状裁剪,视频按顺序处理,记忆状态跨推理分块保留、只在源视频边界重置。
能耗是按45纳米FP32参考代价4.6 pJ/MAC与0.9 pJ/AC算出的解析代理,未覆盖softmax、形变、膜更新、逐元素融合与数据搬运,也不等于实测器件能耗或执行延迟;代码计划在论文录用后于GitHub发布。
