视频编辑奖励模型把静止当质量:加入帧间动态输入后,VE-Bench运动阶梯误选率从97%降到0%
核心概要
指令引导的视频编辑奖励模型会把时间一致性当成质量,从而偏爱运动被压低的候选片段:在VE-Bench的运动阶梯上,被评估的复合奖励有97%的情况选中了运动被抑制的版本。一种运动感知奖励模型把逐帧RGB差分作为显式输入,并用运动抑制负样本与伪造运动负样本做偏好训练,同时用蒸馏锚点保留与人类质量评分的对齐;它在VE-Bench运动阶梯上的误选率降到0%,并检测到训练中未出现的片段冻结、突发冻结与光流衰减。
深度剖析
视频编辑奖励模型存在一种可被利用的失效:当指令只改变外观、不涉及动作时,奖励会偏好运动被压低的候选片段,而不是保留原始运动的编辑结果。 在VE-Bench上,被评估的复合奖励在97%的情况下把运动被抑制的候选排在原始编辑之前;去掉其中的时间一致性分量后,这一比例明显下降。 人类评分者在成对比较中明显偏好原始编辑,即使在奖励难以分辨的轻度hold-2抑制上也是如此,说明奖励排序漏掉了一个人类能清楚分辨的差别。
把帧间动态作为奖励的输入模态,可以让奖励模型直接看到运动,而不必从已经丢失运动信息的特征里把它找回来。 对基础奖励模型倒数第二层特征做线性探针,能区分原始编辑与完全冻结片段,但在hold-2和hold-4上接近随机水平,置信区间覆盖随机。 动态流是对编辑视频逐帧RGB差分做tanh归一化得到的无学习参数测量,在Qwen3-VL-32B骨干的第4个视频token块与像素token按通道拼接,再经LoRA微调。
用运动抑制负样本和伪造运动负样本做偏好训练,并加一个蒸馏锚点,可以同时获得运动敏感性和人类质量对齐。 只用排序损失微调会让奖励退化为专门的运动检测器,丢掉从基础偏好奖励继承的人类质量校准。 最终配置在VE-Bench运动阶梯上的误选率为0%,对逐帧仿射抖动伪造运动的拒绝率为100%;去掉蒸馏锚点后hold-2检测率从100%降到87%,去掉伪造运动负样本后拒绝率从100%降到53%。
在奖励引导的微调中,运动感知奖励让生成视频的运动保持在初始水平附近,而不是像复合奖励那样以运动换分数。 在UniVideo保留真实运动的子集上,复合奖励使运动下降,而运动感知奖励的平均运动变化接近零。 在CogVideoX-2b上,运动感知奖励的平均运动变化同样接近初始水平,而VideoScore和RAFT-flow两个奖励臂都明显降低运动。
启示与展望
结论建立在VE-Bench运动阶梯、UniVideo与CogVideoX-2b两个编辑管线的奖励引导微调,以及一项Prolific人类成对偏好研究之上;运动感知奖励在内部编辑数据上训练,评测使用与其训练不相交的编辑模型。
hold-2候选仍保留高分尾部,判别依赖同一来源内部的排序而非单一阈值;与原始RAFT运动幅度的相关性很弱,作者将其解释为学到了运动幅度之外的东西,但未证明统计独立。
