腾讯混元与北大推出MovieRoll:只用15秒片段训练,30秒流式视频仍保持竞争力
核心概要
流式视频生成要在训练时长之外维持质量,还要处理自生成历史与不断增长的缓存开销。腾讯混元与北京大学等团队给出的MovieRoll把流式微调、长自回放蒸馏与长时程推理串成一条从基础模型到少步生成器的路径:窗口式教师强制让相邻块在窗口内双向去噪、对历史保持因果访问,分层KV缓存压缩按层保留不同长度的历史。在HeliosBench上,MovieRoll-Base在最长15秒视频上训练后于30秒仍具竞争力,MovieRoll-Distilled在10秒、30秒、60秒单事件与30秒、60秒多事件评测中总分最高。
深度剖析
长视频流式生成现在可以在训练片段长度之外继续推进,并且同时给出一个多步基础模型和一个少步蒸馏模型。 此前的多步流式路线中,Resampling Forcing的评测时长止于15秒,Helios-Base采用不带KV缓存的双向续写;Self Forcing与LongLive的自回放蒸馏主要面向少步生成器。 在HeliosBench上,MovieRoll-Base在最长15秒的视频上训练后,于30秒评测中仍具竞争力;MovieRoll-Distilled在10秒、30秒、60秒单事件评测和30秒、60秒多事件评测中总分高于所比较的方法。
基础模型阶段把预训练的双向视频模型改造成按滚动窗口生成的流式模型,窗口内相邻块互相细化,窗口外只读取已生成的历史。 逐块教师强制从纯噪声去噪每个新块,容易过度依赖前文并让历史误差累积;窗口式教师强制把滚动窗口联合去噪扩展到基础模型训练,并让多个窗口在各自事件提示与干净历史下并行受监督。 在相同数据和10000步训练下,窗口式教师强制在10秒与30秒评测中总分均高于逐块教师强制及额外自重采样训练的逐块变体,30秒时领先更大。
历史缓存按网络深度分层保留,浅层保存全部历史,深层只留首块与最近一块,从而在压缩显存的同时不牺牲生成质量。 全历史KV缓存随视频变长持续增加内存与计算,而统一滑动窗口在每一层都丢弃中间历史。 相对所有层都保留全历史,该分配把KV缓存内存最多降低78%,带CFG的峰值去噪步延迟约降低53%,并在测试的五种分配中取得最高总分与漂移自然度。
少步生成器在长自回放上训练,每次参数更新汇总整段回放中各时间位置的监督,而不是只用一个监督窗口。 LongLive式训练从单个监督窗口更新参数,CuLT-DMD在整段回放中固定参数、先平均局部梯度再更新,每次更新只保留一个局部计算图。 从同一MovieRoll-Base检查点出发,CuLT-DMD总分高于LongLive式训练,并提升动态性与漂移自然度;把第二阶段回放从241帧延长到721帧,进一步改善漂移美学与漂移自然度。
启示与展望
演示范围是HeliosBench上的文本到视频流式生成:单事件10秒、30秒、60秒与多事件30秒、60秒,基础模型在最长15秒的视频上训练,蒸馏模型在241帧与721帧回放上训练。训练语料为因保密限制不能公开的内部视频库,评测提示经其流式视频提示改写技能重写。
MovieRoll-Distilled尚未达到实时生成:即使使用SageAttention和8块H20 GPU,生成60秒视频仍需152.2秒,为9.47 FPS,而实时播放需要24 FPS。MovieRoll-Base在60秒时不够稳定,因此该时长只评测蒸馏模型;蒸馏模型在最长评测时长上的语义与漂移自然度评分低于最短时长。
