跳到主要内容
返回时间线
arXiv来源发表:

语音生成主干顺手当声纹编码器:RSE-TTS 省下 48% 参数,三个英文基准上 WER 与相似度同时改善

核心概要

RSE-TTS 让预训练的语音生成主干兼任参考语音编码器,把参考文本与录音一起压成八个连续向量,编码与生成共享同一 Transformer,使两者合计参数量比独立编码少 48%。在三个英文基准上,118M 参数的生成器相对官方 MOSS-TTS-Nano 的参考克隆与续写两种模式,词错误率和说话人相似度都改善;叠加声学续写后,相似度接近更大系统,词错误率低于所评估的 CosyVoice 3 与 MOSS-TTS-Local。

Source-provided article image: RSE-TTS: Compact Text-to-Speech through Shared Text-Aware Reference Encoding and Generation
arXiv

深度剖析

预训练的自回归语音生成主干可以直接用来压缩参考语音,而不只是生成目标语音,并且把参考文本与录音一起送入编码会进一步提高合成时的说话人相似度。 此前的参考编码器要么从随机初始化训练,要么依赖独立的说话人验证嵌入,生成主干学到的文本—语音对应关系没有被用于参考压缩。 在固定架构与训练设置下,用生成主干初始化独立参考编码器后,Seed-TTS 上的相似度从 0.400 升到 0.530,CV3-eval 从 0.342 升到 0.469,MiniMax 从 0.391 升到 0.592;加入配对转写文本后,独立编码器与共享编码器在每个基准上都继续提升。

编码与生成共用同一个 Global Transformer,参考侧不再需要第二个完整 Transformer,八个学习到的查询向量在一次前向中读完参考文本与语音。 独立预训练编码器方案需要为参考编码单独维护一套主干参数,编码与生成合计 228.5M 参数。 共享主干后编码与生成合计 118.2M 参数,比独立方案少 48%;独立文本加音频编码器取得最高相似度,共享方案保留了其中大部分收益。

八个向量不只携带音色,还携带语速与音高这类表达信息,并且与常规说话人嵌入提供互补的语音信息。 常规 192 维说话人嵌入单独使用时,对同一说话人另一段录音的 WavLM 嵌入预测余弦为 0.438,八个参考向量单独为 0.439。 两者拼接后预测余弦升到 0.469,在 63 名留出说话人中有 58 名改善,相对常规嵌入的平均增益为 0.031(95% 置信区间 [0.025, 0.037]);参考录音从 3 秒延长到 24 秒时,平均相似度从 0.378 升到 0.569。

启示与展望

演示范围是英文:受控消融在 20k 小时同说话人语句对上训练一个 epoch,系统对比使用 Seed-TTS、CV3-eval 与 MiniMax 三个英文基准,参考研究使用 EARS 的 30 名说话人。读者对象是关注紧凑 TTS 与参考条件设计的语音研究人员和工程师。

紧凑参考条件在说话人相似度上仍落后于声学续写;较早检查点的诊断显示相似度差距在生成初期就已出现并持续到结尾,而对参考条件的敏感度随声学历史增长而下降,作者把教师强制对声学历史的依赖列为一种可能解释,压缩中的信息损失是另一种可能。RSE 需要参考转写,音频-only 场景下转写稳健性因此成为考虑因素。