语音生成主干顺手当声纹编码器:RSE-TTS 省下 48% 参数,三个英文基准上 WER 与相似度同时改善
RSE-TTS 让预训练的语音生成主干兼任参考语音编码器,把参考文本与录音一起压成八个连续向量,编码与生成共享同一 Transformer,使两者合计参数量比独立编码少 48%。在三个英文基准上,118M 参数的生成器相对官方 MOSS-TTS-Nano 的参考克隆与续写两种模式,词错误率和说话人相似度都改善;叠加声学续写后,相似度接近更大系统,词错误率低于所评估的 CosyVoice 3 与 MOSS-TTS-Local。