音视频联合生成被追问“谁在协调”:四个开源模型提示词一模糊,多数一致性就逼近随机配对
联合文本到音视频生成模型在提示词写全时看似音画一致,但这种一致可能只是两个模态各自跟随文本。研究者用语义欠指定的提示词检验“内在联合性”,即音视频对提示词未定细节给出同一实现的能力,发现LTX-2.3、LTX-2、JavisDiT++和JavisDiT四个开源模型的一致性都随提示词变模糊而下降,多数模型在最宽泛一级接近随机配对的打乱基线。为此提出基于表示对齐的后训练方法JointREPA,并构建欠指定语义基准UNSAIDBench,在两个模型和三个基准上提升音画一致性。