21Codec把说话人身份挪到解码端:流式合成中音色不再逐块漂移,还能中途换人
核心概要
流式语音合成用的神经编解码器通常从离散码流里推断说话人身份,分块解码时每块只看局部上下文,同一句话里音色会漂移。21Codec把说话人信息从码流中压低,改由解码端一个外部说话人嵌入逐帧调制,使身份在流式解码中保持稳定,并能在中途换人。在未见说话人上,重配音输出更接近参考说话人而非源说话人;代价是词错率相对无条件版本上升。
深度剖析
流式解码时,同一段码流可以稳定地对应同一个说话人,而且说话人身份由外部嵌入决定,不再由码流本身携带。 此前的编解码器用足够长的窗口训练,解码器依赖全局上下文推断说话人这类静态信息;一旦切成短块流式解码,每块只能从局部上下文重新推断,同一句话内音色会明显漂移。 在未参与训练的LibriTTS-R说话人上,用另一位说话人的嵌入解码同一段源码流,输出与参考说话人的相似度高于与源说话人的相似度,而真正不同说话人之间的相似度更低;SMOS听测中重配音样本接近真实同说话人配对,双向重复测量方差分析显示比较效应很大。
说话人身份从码流中被压低,改由解码器通过自适应调制注入。 此前的做法是让解码器自己从码流里推断身份,身份信息与内容混在同一串离散码中。 冻结码流上单独训练的说话人探针,top-1准确率相对无条件基线明显下降,在留出话语子集上比例一致,配对McNemar检验显示差异显著。
分块因果解码在500毫秒块长下与不可见未来的非因果解码相当,且中途可换说话人而不增加码率。 此前的流式编解码器在短块下音色漂移,难以用于需要短窗口的实时合成。 块长从20毫秒扫到1秒,包括训练中未见的块长,说话人相似度与非因果解码接近;在160毫秒块上,CPU与GPU的实时因子数值在保留文本中被留空,无法据此判断是否低于实时。
启示与展望
演示范围是24 kHz输入、50 Hz帧率、约0.8 kbps的流式编解码器,评估覆盖LibriTTS-R未见说话人、五种语言的重配音听测以及20毫秒到1秒的块长扫描;这些结论限于该编解码器与所配的ECAPA-TDNN说话人嵌入。
训练因预算在5天后停止,尚未完全收敛,所报数值是下界;方法依赖说话人嵌入模型,换用其他嵌入模型或可学习说话人表可能使结果偏移;说话人身份可控性提升的同时词错率上升,可懂度与身份去除之间存在权衡。
