多人视频生成不再串脸:MultiBinder先把人物绑定到词,再交给叙事编排
核心概要
个性化视频生成在主体数量增加时会出现身份泄漏:不同人物的外观特征互相混入,叙事结构也随之崩坏。MultiBinder把条件过程拆成两步,先用实体感知的Q-Former把每张参考图与对应的人物短语绑定成互不混淆的身份令牌,再让多模态大模型按提示词推断“谁在做什么”,最后注入视频扩散模型。在新建的MultiBind-Bench上,MultiBinder的身份纯度得分为73.98%、视觉推理得分为84.56%,均高于同一榜单上的Kling-1.6(69.51%与82.89%)。
深度剖析
多人个性化视频生成现在可以在扩散之前把每个主体的外观与其文字短语一一绑定,从而减少不同人物特征互相混入。 此前的做法把参考图和文本提示直接融合成联合条件信号,没有在融合前隔离“某个人物短语”与“其对应视觉模式”的对应关系。 在新建的MultiBind-Bench上,MultiBinder的身份纯度得分为73.98%、视觉推理得分为84.56%,高于同一榜单上的商业系统Kling-1.6的69.51%与82.89%。
这套流程分两步走:先绑定身份,再编排叙事,两步都在视频扩散之前完成。 第一步用实体感知的Q-Former,一种把图像特征按文字查询抽取出来的跨模态编码器,从参考图中提取以身份为中心的视觉特征,并用实体细化注意力再对齐一次短语语义,得到身份令牌。 第二步由一个冻结的多模态大模型充当叙事导演,读取提示词与参考图,输出每个主体“谁在做什么”的上下文特征,再经连接层注入以Wan2.1-T2V-1.3B为骨干的扩散Transformer。
消融实验把增益归到具体模块上,而不是笼统归给“用了大模型”。 把绑定模块换成普通Q-Former,总分只比无Q-Former的基线高0.74%;换成实体感知Q-Former则提高3.22%。 在训练数据50%子集上,加入实体细化注意力使身份纯度得分提高3.15%;叙事编排相对无大模型的直接条件基线,总分提高2.10%、身份纯度提高4.91%、视觉推理提高3.71%。
启示与展望
评测覆盖OpenS2V-Eval的180个主体—文本对,以及自建MultiBind-Bench的100条多主体条目、共120张参考图,每条含2到4个主体;定性示例另含一个五人场景。方法以Wan2.1-T2V-1.3B为视频骨干、Qwen2.5-VL-3B-Instruct为叙事模型,训练用50万条带多目标标注的视频。
作者把身份泄漏归因于扩散模型融合前缺少短语与视觉模式的显式绑定,这一因果解释由消融结果支持而非直接测量。MultiBind-Bench的身份纯度依赖Qwen2.5-VL对发色、面部、服装三类属性的选择题判断,视觉推理得分由GPT-4o以5点量表打分并重复两次思维链取平均,两项指标都建立在模型评判之上。
