事件相机动作识别不再只看单帧:把长序列切成多帧,THU-EACT-50 CHL 上准确率从30.5%升到78.7%
瑞典国防研究局把事件流切成多帧再预训练,长时复杂动作识别在THU-EACT-50 CHL上达到78.7%、DailyDVS-200上达到66.9%,且只用事件数据。
瑞典国防研究局把事件流切成多帧再预训练,长时复杂动作识别在THU-EACT-50 CHL上达到78.7%、DailyDVS-200上达到66.9%,且只用事件数据。
该工作提出融合MAE、JEPA与SimCLR三种自监督目标表示的框架,并设计共享主干加目标专用分支的多分支架构,在约25000个频谱图与CSI样本上预训练后,于通信、感知与定位六个下游任务中,等输出维度下融合在全部六项任务上优于所评估的单目标编码器且参数约为其三分之一,多分支架构在单编码器参数预算内保留了大部分融合收益,表示分析显示各目标贡献互补且增益多保留在与MAE表示子空间正交的分量中。
已读完全部报道