跳到主要内容
返回时间线
arXiv来源发表:

果蝇视觉回路给插帧视频打分:FlyVQA在留出的第五种插帧方法上平均SRCC达0.613

核心概要

视频插帧会引入拖影、重影和运动不连续,现有质量指标多依赖光流差异或学习到的时空特征。FlyVQA把参考视频与插帧视频送入一个冻结的、经运动任务预训练的果蝇视觉回路,用复眼采样对齐输入,再比较细胞类型活动、兴奋—抑制突触驱动及其时滞耦合的差异,由轻量回归头给出质量分。在BVI-VFI上,训练四种插帧方法、测试第五种的留出方法协议下平均SRCC/PLCC为0.613/0.638,高于参数预算相当的视网膜输入与RGB输入基线。

Source-provided article image: FlyVQA: Seeing Video Frame Interpolation Quality through Fly Eyes
arXiv

深度剖析

插帧视频的质量评估改用一条解剖结构受果蝇连接组约束的视觉回路来做,而不是从零训练卷积、循环或Transformer网络。 此前的插帧专用指标依靠光流差异或学习到的时空特征,通用视频质量模型则从数据中学出时空表示。 在BVI-VFI训练四种插帧方法、测试第五种的留出方法协议下,FlyVQA平均SRCC/PLCC为0.613/0.638,高于参数预算相当的视网膜输入RNN(0.513/0.523)和GRU(0.513/0.547),也高于RGB输入的ResNet-18(0.603/0.602)与空间ViT(0.610/0.645)。

质量差异在回路内部按三个层次逐点比较后再汇总,保留误差出现在何处、何时。 全局特征池化会把局部响应差异平均掉,而插帧伪影恰恰是局部且随时间演化的。 比较对象是34个输出细胞类型的活动、8个T4/T5细胞类型的兴奋与抑制驱动,以及七个时滞上的兴奋—抑制耦合;在90段留出视频上,三类特征分别与去中心化DMOS计算SRCC,用于检验响应敏感性与主观损伤的关联。

只有轻量回归头参与训练,果蝇回路本身保持冻结。 常规做法是让整个时空主干在质量标签上端到端更新。 质量监督参数为0.0181M(含总参数0.0218M),与0.018–0.019M的MLP、CNN、RNN、GRU、Transformer基线相当;把训练好的连接强度在兴奋/抑制组内打乱、保持接线与符号不变后,与主观评分的相关性下降。

启示与展望

评估集中在BVI-VFI数据库的插帧伪影上,覆盖36个内容、五种插帧方法和30/60/120 Hz三种帧率,并按内容划分与留出插帧方法两种协议报告相关性。读者对象是视频质量评估与生物启发视觉建模的研究者。

在CGVQD上不做适配时SRCC为0.634,低于LPIPS和BoxEye CNN/GRU,而插帧子集上SRCC为0.833,说明冻结运动回路与固定响应特征对异构失真的排序能力有限。在Average和DVF两类插帧方法上,RGB输入的ResNet-18与VGG-11的SRCC高于FlyVQA,回路只接收721点六边形格点上的空间积分亮度,丢掉了颜色与细纹理线索。