跳到主要内容
检索

# 文本到视频生成

12 篇关联报道

订阅更新
  1. arXiv

    情绪视频生成不再靠固定奖励:EmoReward把上一轮训练的经验变成下一轮的权重

    情绪视频生成的质量没有唯一正确答案,固定融合视觉、运动和文本对齐奖励难以表达情绪意图。EmoReward把一次完整训练中收集的奖励轨迹整理成各情绪场景下各评分通道的可靠性,转成有上限的权重乘子,在下一轮训练中与当前视频的实例门控结合,且不更新任何奖励模型参数。在HunyuanVideo 1.5上配合DanceGRPO、FlowGRPO和SAGE-GRPO,VideoAlign Overall在三种算法下均提高,其中SAGE-GRPO配合EmoReward从-0.8269升至-0.2624。

  2. arXiv

    PixVid把视频生成搬回像素空间:每帧独立出token,相机控制下一帧就生效

    PixVid把预训练的潜空间视频扩散模型改造成逐帧在像素空间生成的模型:保留扩散Transformer,用卷积细节头替换VAE解码器,并从Wan2.1-14B微调。它在VBench上总分85.09(960p)与84.78(480p),高于Wan2.1的84.05和PixelUMM的83.72;在快速运动片段上保留98%的源运动,而同样微调的潜空间模型为83%。

  3. arXiv

    视频模型学物理不再靠猜:PhysOPSD把可执行代码当老师,3K样本超过80K监督微调

    PhysOPSD把可执行仿真代码作为特权上下文,用于视频生成的在策略自蒸馏:同一模型的学生只看到文本,教师额外看到仿真渲染出的物理草稿,从而在不改变推理接口的前提下学会物理上合理的运动。在UniVideo(13B)与OmniWeaving(8.3B)两个骨干上,它用3K样本训练,在VideoPhy-2总体分和PhyGround上均高于用80K数据的监督微调与用21K数据的离线强化学习基线,同时VBench通用质量保持或略有提升。

  4. arXiv

    VA-TDM把四步生成的监督换成速度场对抗:33B音视频模型上对多步教师的偏好率升到45.53%

    少步扩散蒸馏长期依赖学生分数估计,而中间步骤的分数难以准确跟踪,估计出的分布可能与更新学生所用的分布不一致。VA-TDM把监督对象换成由学生采样过程构造的速度场,用学习到的评论器比较学生与教师速度场并把分歧转化为生成器反馈,同时统一了分数蒸馏、Fisher匹配与矩匹配。在SD3.5-Medium四步生成上,GenEval从TDM的0.61升到0.67;在33B的MiniMax-H3上,同预算4-NFE下人类偏好对比中胜Fast-H3的比例为61.33%,对100-NFE教师的偏好率为45.53%,Fast-H3为24.67%。

  5. Gemini

    Gemini Omni 1.2 Flash 全面开放:单次生成15秒视频,720p每秒0.07美元

    Gemini Omni 1.2 Flash 通过 Gemini API 和 Gemini for business 全面开放,把原生视频生成时长从 Omni 1.1 的10秒延长到15秒,并支持3至15秒按1秒步进指定时长。它新增多轮对话式编辑,可在同一片段上逐轮替换产品或背景、调整光照与画幅,而不必整段重生成;720p 视频价格较 Omni 1.1 下调30%,为每秒0.07美元。官方示例显示,在相同静态影棚海报与五层动画提示下,1.2 比 1.1 更贴近参考图。

  6. arXiv

    文生视频联合后训练不再共用一份奖励:提示与生成器分开记功,LTX-2.5上组合指标从61.47升到64.46

    FlowCred把文生视频联合后训练里的同一份终端奖励拆成提示级信用与生成器残差,并在LTX-2.5上把严格匹配的联合训练对照从61.47提升到64.46(T2V-CompBench),且不增加解码视频或奖励模型调用预算。

  7. arXiv

    扩散采样不再全图一个引导强度:按去噪轨迹逐token分配,VBench总分最高涨0.75

    流匹配模型的分类器无关引导此前对所有潜变量token使用同一个缩放系数,而各token的速度预测在采样过程中变化并不一致。TrajCFG把引导速度方向的历史变化映射为有界系数,方向变化大的token给更强引导,方向稳定的token给更弱引导,并融合相邻步与区间归一化的长跨度反馈,且不增加模型评估次数。在文本到视频、图像到视频、文本-音频-视频、文本到图像和图像到3D生成上,它相对基础采样器均有提升;文本到视频在三个骨干上VBench总分比各自最强基线高0.30至0.75分。

  8. arXiv

    DuoMatching用联合-边缘分布匹配提升少步视频生成,人类评测对全部基线总体偏好率超80%

    DuoMatching提出统一的联合-边缘分布匹配框架:在既有联合DMD之外,用图像生成模型对单帧边缘分布做直接监督,并以LatentBridge解决视频与图像隐空间不匹配、以Latent Variation Sampling把帧级监督分散到不同时间段;在因果与双向少步视频生成中提升了视觉质量、构图与语义对齐,同时基本保持运动动态,人类评测对全部基线的总体偏好率超过80%。

  9. arXiv

    首篇视频生成后训练与对齐综述把四类方法收进统一框架,并给出跨基准的维度化证据

    这篇发表于 TMLR 的综述首次系统梳理视频生成模型的后训练与对齐,把方法按对齐信号如何被施加分为隐式与显式两类,并归入监督微调、自训练与蒸馏、偏好与奖励优化、推理时方法四大类,同时整理常用数据集、基准与评测实践,并讨论可扩展奖励设计、长时程时序一致性、稳定性与表现力权衡以及安全生成等开放挑战。

  10. arXiv

    PreviewDiff 把多模态评审放进去噪循环:在 SDXL 与 LTX-Video 上以同等算力超过 Best-of-N

    PreviewDiff 提出一种免训练测试时搜索方法,在选定的去噪检查点解码中间预览、让多模态评审打分并给出自然语言修正,再据此在语义提示编辑与局部重加噪的潜变量延续上分支、评分并选择性推进,在图像与视频生成基准上以同等算力预算稳定优于 Best-of-N 与标量搜索基线。