长视频生成不再越走越偏:Reference Forcing 把首帧当锚点,两小时一致性仍稳
核心概要
自回归视频扩散模型逐块生成视频,但短窗口蒸馏不约束长程外观,主体和背景会随时间漂移。Reference Forcing 把首帧当作外观参照:先用分割与光流模型构造教师,强制新帧每个区域只注意首帧同一区域,再蒸馏进学生模型一条独立的锚点注意力通路,并据此修正 KV 缓存中已漂移的值。在 LongLive 基座上,它在 30 秒与 60 秒视频中取得最高的主体与背景一致性,且优势随视频变长而扩大。
深度剖析
长视频生成多了一条不牺牲运动的保一致性路径:新帧的每个区域可以只参照首帧的同一区域,而不必与近期帧争夺同一份注意力权重。 此前的做法是让模型访问更多生成历史,例如保留首帧作为注意力汇、压缩旧帧或检索历史;但已生成的帧本身可能已含外观误差,而加强对首帧的注意力又会冻结运动。 在 MovieGenBench 提示生成的 60 秒视频上,以 LongLive 为基座时,Reference Forcing 的主体一致性为 97.56、背景一致性为 96.67,高于 LongLive 的 97.33 与 96.49;动态程度为 43.13,LongLive 为 42.19。
实现上分成两条互补的修正:一条把首帧外观带进当前帧,另一条清理近期缓存里已经漂移的外观。 锚点通路是一条独立的注意力分支,只注意首帧,且不加旋转位置编码,因此按内容而非位置匹配;它由教师蒸馏而来,教师用 Grounding DINO 与 SAM 2 分割主体、用 RAFT 光流匹配背景,并以注意力掩码限定每个区域只看首帧同一区域。 学生模型用秩为 16 的 LoRA 改造查询与键,并学习一个锚点门控来决定每个 token 使用锚点通路的程度;推理时不需要这些外部模型。值修正则在键相似度上做互为最近邻的匹配,把近期帧缓存中的值按门控插值向首帧对应值,且不改动最新一块以避免闪烁。
启示与展望
演示范围是 MovieGenBench 提示上的 30 秒、60 秒与 120 秒视频,基座为 LongLive-1.3B 与 Self-Forcing 1.3B,评测使用 VBench-Long 六项指标、DINOv2 长程一致性与 MiraBench 跟踪强度。
参照只取第一块,之后才进入画面的内容没有参照,生成过程中更新参照留作未来工作;锚点通路会对首帧匹配区域取平均,成像质量略低于 LongLive;教师的分割只跟随单个主体,多个相似主体的场景仍然困难。
