语音和手势不再分两步生成:Gaspard把两条流放进同一自回归模型,实时因子0.84
核心概要
语音与伴随手势的合成长期沿用级联流程:先生成语音,再用语音驱动手势,手势无法反过来影响语音。Gaspard把两种模态放进同一个连续自回归模型,每一步用流匹配分别预测下一段语音与手势嵌入,并用解耦的无分类器引导分别调节各自历史与跨模态条件。在Seamless Interaction数据上,它与同配方级联系统相比手势动态和同步性更好,实时因子为0.84,而级联系统为1.04。
深度剖析
语音和手势现在由同一个模型同时生成,手势历史与语音条件在推理时被分开调节,而不是让语音先定型再驱动手势。 此前的做法多为级联管线:文本先生成语音,语音再作为条件驱动手势,因此手势只能适应语音,无法参与语音的生成。 在与Gaspard同训练配方的级联系统对照中,统一生成取得更接近真人的节拍一致性,实时因子为0.84,级联系统为1.04。
模型在连续的语音与手势潜空间里逐步预测下一帧,两个模态各有一个流匹配头。 流匹配是一种从高斯噪声出发、沿学习到的速度场积分出样本的生成方式,这里被用作自回归每一步的下一帧预测器。 语音与手势分别经Z-Codec和手势β-VAE编码到相同的12.5 Hz潜帧率,骨干为2.46亿参数的编码器-解码器Transformer,在Seamless Interaction上训练20万步。
解耦的无分类器引导把“依赖自身历史”和“依赖另一模态”拆成两组系数,分别作用于语音头和手势头。 常规无分类器引导只对单一生成流加权多个条件,这里则对两条生成流分别调节自模态反馈与跨模态条件。 在Seamless-416评测子集上,解耦引导相比标准引导和无引导降低了FGD、动力学FGD与词错误率,并提升了节拍一致性与多样性,代价是额外的骨干前向计算使实时因子从0.78升至0.84。
启示与展望
评测限定在Seamless Interaction测试集的两个子集上:与手势基线比较用Genea-95的95段,消融与级联对照用Seamless-416,后者取自多名说话人;模型只建模上半身手势,输入为文本并可选用一段语音-手势前缀。
语音质量仍不及350M参数的PocketTTS:词错误率6.38%对4.69%,预测自然度2.69对3.65,作者提出参数量差异、Mimi编解码器以及联合生成可能拖累语音质量等可能解释。多次引导前向带来额外计算开销,长时生成与域外泛化被列为后续工作。
