配音加语音转换造出四维对齐语料:表达性语音翻译在英德、英西两向普遍提升
核心概要
表达性语音到语音翻译需要内容、韵律、时序和说话人身份同时对齐的训练语料,而现有资源总有一维不匹配。这项研究把专业配音提供的人声对应与多语言零样本语音转换结合,构造出四维对齐的英德、英西训练对,并在TransVIP、Dub-S2ST和端到端模型DirectS2ST上验证。在独立的mExpresso评测集上,三种模型的韵律相似度与说话人相似度均随新语料提升,DirectS2ST在英德、英西两向取得最佳韵律与停顿得分,九名听者的表达性评分提升1.29。
深度剖析
表达性语音翻译的训练语料现在可以同时在内容、韵律、时序和说话人身份四个维度上对齐,而不必像以往那样至少牺牲其中一维。 此前可用的资源各有缺口:合成语音能复现源说话人身份但可能缺少表达性演绎,挖掘数据只有语义层面的平行,专业配音在语义、韵律和时序上对应良好却由不同演员完成。 在英德和英西两个方向上,未做语音转换的原始配音语料在BLASER、韵律相似度和语速相关上已高于CVSS-T,但说话人相似度只有0.060和0.046,明显低于CVSS-T的0.208和0.194。
做法是把专业配音当作人声演绎的骨架,再用多语言零样本语音转换把配音一侧换成原说话人的音色。 语音转换采用Seed-VC,只作用在源侧,目标侧保留未经合成的人声录音,因此内容、韵律、时序和说话人身份被联合监督。 转换前后转写对比得到约8.3%的词错误率和5.2%的字错误率,随机打乱源目标配对后BLASER、韵律相似度、语速和停顿指标大幅下降,说明对应关系来自配对本身而非语料整体。
在三种不同架构的翻译系统上,换用这套语料都带来表达性保持的提升,其中直接预测完整目标语音的DirectS2ST受益最大。 Dub-S2ST原有的语速适配变体主要改善语速相关指标,而这套语料在韵律和说话人相似度上给出更广的提升,时序和自然度的额外增益则视架构而定。 在mExpresso的英德、英西各504条样本上,DirectS2ST的韵律相似度从2.162升到2.905、从2.238升到3.091,停顿得分从0.687升到0.752、从0.652升到0.733;九名英语和西班牙语听者对DirectS2ST的表达性评分从2.13升到3.42。
启示与展望
验证范围限于英语到德语和英语到西班牙语两个方向,评测使用独立于训练语料的mExpresso,每个方向504条样本、覆盖七种表达性条件;Dub-S2ST只在英西方向评测,因为其单元表示不支持德语。人工评测为九名精通英语和西班牙语的听者,在英西方向抽取10条源语句、以源语音为参考,对六种系统配置按五点表达性量表打分。
语音转换前后转写约有8.3%词错误率和5.2%字错误率的变化,说明内容并非完全无损;作者也指出原始配音语料的主要残留问题是说话人身份不匹配。DirectS2ST的翻译与编解码解码器从零训练,绝对内容指标仍低于以SeamlessM4T初始化的TransVIP,作者将此归因于预训练差异。数据因授权限制不能共享。
