跳到主要内容
检索

# 语音转换

2 篇关联报道

订阅更新
  1. arXiv

    配音加语音转换造出四维对齐语料:表达性语音翻译在英德、英西两向普遍提升

    表达性语音到语音翻译需要内容、韵律、时序和说话人身份同时对齐的训练语料,而现有资源总有一维不匹配。这项研究把专业配音提供的人声对应与多语言零样本语音转换结合,构造出四维对齐的英德、英西训练对,并在TransVIP、Dub-S2ST和端到端模型DirectS2ST上验证。在独立的mExpresso评测集上,三种模型的韵律相似度与说话人相似度均随新语料提升,DirectS2ST在英德、英西两向取得最佳韵律与停顿得分,九名听者的表达性评分提升1.29。

  2. arXiv

    21Codec把说话人身份挪到解码端:流式合成中音色不再逐块漂移,还能中途换人

    流式语音合成用的神经编解码器通常从离散码流里推断说话人身份,分块解码时每块只看局部上下文,同一句话里音色会漂移。21Codec把说话人信息从码流中压低,改由解码端一个外部说话人嵌入逐帧调制,使身份在流式解码中保持稳定,并能在中途换人。在未见说话人上,重配音输出更接近参考说话人而非源说话人;代价是词错率相对无条件版本上升。

已读完全部报道