FlexVSR让流式视频超分跨连续尺度:冻结先验,只训0.274M参数适配器
核心概要
实时流式视频生成部署时需要非整数、可变的放大倍率,而固定倍率的生成式视频超分要么按原生倍率算完再下采样、代价冗余,要么为每个尺度重训扩散Transformer并改动共享先验。FlexVSR把生成先验的准备与尺度适配拆开:冻结VAE、超分DiT和上采样器,只训练0.274M参数的ReLSA潜变量适配器,在目标网格上先构造基础潜变量再做尺度条件残差修正。它只在两个尺度上监督,却在未见过的连续尺度上保持重建与时间一致性,并在多数对比中取得更低延迟。
深度剖析
流式生成式视频超分现在可以用同一个冻结先验服务连续的目标尺度,而不必为每个倍率准备一套模型。 此前的固定倍率流式超分要么在原生倍率上完成计算再下采样到目标尺寸,带来冗余的DiT计算与像素解码开销,要么直接对潜变量做朴素重采样,重建质量明显下降。 在YouHQ40与Inter4K-40上,FlexVSR在四个数据集-尺度设置中LPIPS全部最优;YouHQ40上PSNR比最强基线LiteVSRN高0.46/0.82 dB,比FlashVSR-TN高0.74/1.07 dB,六项指标平均排名为1.67,LiteVSRN为2.83。
尺度泛化被压缩成一个只改潜变量接口的轻量适配问题,主干网络保持原样。 ReLSA是一个0.274M参数(273,584)的潜变量适配器,把目标网格构造与残差修正分开:先用LIIF式连续查询把局部低分辨率特征聚合出基础潜变量,再由尺度条件残差分支结合对齐后的源特征与网格几何预测加性修正。 适配阶段只训练ReLSA,冻结特征提取器、超分DiT与Wan VAE,端到端穿过冻结复原器监督,耗时7.3 H100 GPU小时,而第一阶段先验准备为17.4 H100 GPU小时;推理逐帧进行,不做未来帧前瞻,保留单步、分块因果的流式协议。
少量尺度监督可以外推到训练中没见过的倍率,推理时无需按尺度重训。 适配只在两个尺度上监督,而此前的固定倍率模型无法直接覆盖中间或邻近倍率。 在YouHQ40的十个尺度上,FlexVSR在全部十个尺度取得最优tLPIPS,LPIPS在1.20倍处仅次于Ultra FlashN、在1.25至1.50倍最优;另有一个在21个尺度上训练的独立ReLSA适配器,在17个尺度(含5个未见尺度)上取得最佳平均排名1.16。
启示与展望
演示范围是Wan2.1-1.3B复原先验上的流式生成式视频超分,主模型只在两个尺度上监督,评测在YouHQ40与Inter4K-40上进行,指标为全帧RGB输出对匹配分辨率的真值;上游文本生成视频缺少配对多尺度真值,因此参考评测用双三次下采样合成低分辨率输入。作者指出,动态尺度切换仍属于后续方向。
跨模型族时,相同的先验准备配方不保证同样强的参考尺度先验:MiniMax-H3的VAE为24通道、空间压缩更强,仅VAE编解码就为30.68 dB,低于Wan2.1的32.66 dB,端到端分数也更低,而该比较未分离各因素。此外,残差幅度需要精确校准,测试时缩放残差会降低PSNR。
