跳到主要内容
返回时间线
arXiv来源发表:

SCRiD只用4个生成器训练:在88个未见生成器或任务子集上,AI视频检测平均ACC达72.72%

核心概要

AI生成视频检测的难点在于,真实视频里的快速运动、镜头移动和光照变化本身就会产生明显残差,单看差异大小无法判断是否合成。SCRiD把帧间残差放到运动对应位置与原始坐标两种参考下比较,并从真实视频学一个按内容条件的去噪参考来校正特征,再用可逆辛更新交换两路证据。它只用4个生成器的合成视频训练,在6个基准、88个生成器或任务子集上取得平均ACC 72.72%、AP 74.23%,分别比最强基线高3.24和0.81个百分点。

Source-provided article image: SCRiD: Spatial and Contextual References for Generalizable AI-Generated Video Detection
arXiv

深度剖析

SCRiD把“差异有多大”换成“差异在什么参考下出现”,让检测器在训练时没见过的生成器上仍能给出判断。 此前的帧级和视频级方法依赖合成痕迹、帧间差异或运动模式,但这些线索同样会被真实视频中的自然运动与内容变化触发,面对未见生成器时合成差异更难分辨。 训练只使用GenVidBench Pair1中4个生成器的合成视频,在覆盖88个生成器或任务子集的6个基准上,SCRiD取得平均ACC 72.72%和AP 74.23%,比最强基线分别高3.24和0.81个百分点,五轮重复的双侧配对t检验给出显著性。

两路证据分别回答“在哪里比残差”和“这个变化与周围内容是否一致”。 匹配坐标残差响应(MCR)沿估计光流取下一帧残差,同时在原始图像坐标附近取样,并让两种参考共享相同的双线性采样权重,再比较相关性与距离响应。 真实条件分数适配(RCSA)在真实视频上训练一个以周围内容为条件的噪声预测器,在四个质量视图和三个噪声尺度上用对称扰动探测其响应,并用这些响应调整DINOv2特征;可逆证据交换(REE)以辛更新耦合两路状态,保持联合表示可恢复。

去掉任一设计都会掉点,说明增益来自参考条件本身而非单纯增加容量。 把匹配坐标响应换成常规光流对齐残差,ACC和AP分别下降3.08和1.87个百分点;去掉内容调制,下降6.91和4.12个百分点。 冻结随机初始化的噪声预测器使ACC和AP下降4.06和1.62个百分点;允许分类梯度更新该预测器时AP下降4.37个百分点;用参数匹配的残差MLP替换辛更新,ACC和AP下降1.72和2.32个百分点。

启示与展望

评估覆盖GenVidBench Pair2、AIGVDBench、ComGenVid、GenBuster、ViF-Bench和RA-Bench共6个基准、88个生成器或任务子集,训练仅使用GenVidBench Pair1中4个生成器的合成视频,指标为视频级ACC与AP。鲁棒性测试在ViF-Bench、ComGenVid和GenBuster上施加7类后处理扰动,SCRiD平均ACC为74.24%,相对干净视频的平均下降为0.76个百分点。

在AIGVDBench上DeMamba的ACC高于SCRiD,SCRiD在该基准的AP上领先3.07个百分点,两项指标并不总是一致。超参数分析显示坐标偏移半径从1增到4时ACC逐步下降,REE交换层数呈非单调趋势,原文报告某一层数设置取得最高ACC和AP 73.09%和75.64%,而默认设置层数更少且性能仍有竞争力。