音视频联合生成被追问“谁在协调”:四个开源模型提示词一模糊,多数一致性就逼近随机配对
核心概要
联合文本到音视频生成模型在提示词写全时看似音画一致,但这种一致可能只是两个模态各自跟随文本。研究者用语义欠指定的提示词检验“内在联合性”,即音视频对提示词未定细节给出同一实现的能力,发现LTX-2.3、LTX-2、JavisDiT++和JavisDiT四个开源模型的一致性都随提示词变模糊而下降,多数模型在最宽泛一级接近随机配对的打乱基线。为此提出基于表示对齐的后训练方法JointREPA,并构建欠指定语义基准UNSAIDBench,在两个模型和三个基准上提升音画一致性。
深度剖析
音视频联合生成的一致性需要区分来源:提示词把细节写全时,音频和视频各自跟随文本就能显得同步,未必发生了跨模态协调。 此前的评测多用语义细节完整的提示词,语义维度上的真实协调基本没有被单独考察,时间维度的协调则已有较多检验。 用只留一个未定因素的诊断提示词,按乐器、人声、动物叫声三类事件分三级语义具体度生成样本,四个开源模型的一致性都随提示词变模糊而下降,多数模型在最宽泛一级接近把不同随机种子的音频与视频随机配对的打乱基线。
这种不一致不只出现在最终输出,模型内部的中间表示同样没有对齐,负责跨模态交互的音视频注意力也没有被充分利用。 此前的判断停留在成片层面,无法说明分歧是生成末端才出现还是一路存在。 对Transformer各层、各去噪步的音视频特征分别做线性探针预测各自模态的身份标签,探针一致率同样随提示词变模糊而下降;在推理时屏蔽音视频注意力,LTX系列各项指标大幅下降,JavisDiT仅小幅下降,JavisDiT++几乎不变。
JointREPA把每个模态的中间特征同时对齐到本模态和另一模态的预训练表示,用后训练方式推动跨模态语义交换。 此前的表示对齐方法用于文生图、文生视频和文生音频,尚未用于联合音视频生成中的语义联合性问题。 在JavisDiT++和LTX-2.3上以LoRA微调,UNSAIDBench上JavisDiT++的AV-IB从0.176升到0.207、AVHScore从0.163升到0.196,LTX-2.3的AV-IB从0.244升到0.302、AVHScore从0.236升到0.288,JavisBench-mini与Verse-Bench上同样提升。
启示与展望
考察范围限于语义维度的内在联合性,即事件身份这类在音频和视频中都能明确分辨的属性;时间维度的协调不在本次分析之内。评测使用乐器演奏、人声和动物叫声三类事件构造的诊断提示词,以及由JavisBench提示词改写而来的UNSAIDBench共524条实例;改进效果在JavisDiT++和LTX-2.3两个骨干、UNSAIDBench与JavisBench-mini、Verse-Bench三个基准上报告,Verse-Bench仅使用其文本提示。
音视频注意力在四个模型中的利用程度并不一致,LTX系列被屏蔽后指标大幅下降,JavisDiT++几乎不受影响,说明协调机制在不同架构中差别很大。改进在文本一致性和音画质量上结果混杂,作者将其归因于收益主要体现在跨模态协调。把内在联合性扩展到材质、重量等物理属性只是提出的后续方向,尚未验证。
