跳到主要内容
返回时间线
arXiv来源发表:

视频分析不再逐帧解码:CoDecide只解新内容出现的帧,吞吐量达逐帧管线的15至24倍

核心概要

监控视频归档分析中,检测器一旦只跑在部分帧上,解码就取代检测成为主要开销。CoDecide把选择性解码变成压缩域中的“新内容预测”:用冻结的DINOv2教师模型在无标注条件下定义语义新颖性,训练一个轻量学生网络从运动矢量、非零系数计数和宏块类型判断何时解码、解码哪些宏块,跳过的帧用运动矢量传播检测框。在VIRAT、MEVA和ShanghaiTech的留一数据集协议下,它在相同或更低的解码预算下比此前的压缩域选择器找回更多运动目标检测,端到端比逐帧解码加检测的管线快15至24倍。

Source-provided article image: CoDecide: Content-Adaptive Video Decoding for High-Throughput Video Analytics
Figure 2 · arXiv · 第 3 页

深度剖析

视频归档分析可以只解码新内容出现的那几帧,其余帧的检测结果由运动矢量从前一帧传播过去,从而把解码从次要开销变成被主动削减的对象。 此前的压缩域选择器大多仍要先完整解码出RGB帧再筛选,而均匀采样在长GOP内仍要沿依赖链解到接近末尾,省不下解码成本。 在VIRAT、MEVA和ShanghaiTech的留一数据集协议下,与同样使用YOLO11x检测器和同一套框传播的CoVA相比,CoDecide在三个数据集上的运动目标召回分别为0.78对0.75、0.60对0.54、0.78对0.76,解码预算相同或更小。

判断“何时解码”靠的是压缩域里的语义新颖性,而不是单纯的运动量。 编码器会为任何位移生成运动矢量,持续移动的已知物体同样产生连续矢量与残差,因此运动本身无法区分新到达与一直在场。 学生网络以冻结DINOv2教师模型在无标签条件下给出的新颖性图为监督目标,输入为运动矢量、非零系数计数、宏块类型和由前三者导出的“惊讶先验”,在留一数据集设置下无需针对新相机重新训练。

“解码哪里”由存在图决定,只重建内容发生变化的宏块,其余位置从参考帧同位置块填充。 逐帧完整重建会把大量静态背景像素一并解出,而这些像素在相邻帧之间并未改变。 空间选择在MEVA上只重建13%的宏块、VIRAT上38%、ShanghaiTech上81%,合成帧与完整重建接近,PSNR为41.96、SSIM为0.985,每个含新颖事件的GOP再省6%至10%的解码时间。

启示与展望

演示范围限于H.264/AVC压缩的监控归档视频,GOP长度设为250帧,评测覆盖VIRAT、MEVA和ShanghaiTech三个数据集,下游任务为运动目标检测、二值谓词和计数;所有方法共用YOLO11x检测器与同一套运动矢量框传播,因此比较的是帧选择策略。

与逐帧检测的差距主要来自传播漂移:在VIRAT上约三分之二的漏检框起初被正确播种,但因宏块运动矢量量化误差在GOP内累积而漂移到IoU 0.5以下,另三分之一从未被播种。仍存在两类失败情形:到达物体太小、覆盖的图块不足以让教师模型标记为新颖,以及新颖物体太小、下游检测器无法检出。