跳到主要内容
检索

# Gaspard语音与手势统一生成模型

1 篇关联报道

订阅更新
  1. arXiv

    语音和手势不再分两步生成:Gaspard把两条流放进同一自回归模型,实时因子0.84

    语音与伴随手势的合成长期沿用级联流程:先生成语音,再用语音驱动手势,手势无法反过来影响语音。Gaspard把两种模态放进同一个连续自回归模型,每一步用流匹配分别预测下一段语音与手势嵌入,并用解耦的无分类器引导分别调节各自历史与跨模态条件。在Seamless Interaction数据上,它与同配方级联系统相比手势动态和同步性更好,实时因子为0.84,而级联系统为1.04。

已读完全部报道