口音转换不再固定邻居数:AA-NN-AC用25分钟目标口音池,WER降到8.35%
核心概要
检索式口音转换直接从目标口音语音中取声学特征,省去生成模型对参数的依赖,但此前匹配池按顺序挑选、邻居数固定、风格调制分辨率粗,导致罕见音素覆盖不足和频谱不连续。AA-NN-AC把匹配池改为按音素覆盖度贪心挑选,用奇异值分解估计局部各向异性来逐帧调整邻居数,并在AdaIN模块内加入时间上采样。在L2-ARCTIC与VCTK上,其客观与主观指标优于NN-VC、NN-AC等检索式基线,WER为8.35%、CER为4.04%。
深度剖析
检索式口音转换的匹配池不再按原始时间顺序截取,而是按音素覆盖度挑选样本,使罕见音素在有限目标口音数据下也能进入检索索引。 此前的NN-AC等检索式框架采用顺序选择构建匹配池,自然语音中音素分布不均,常见音素被过度代表,罕见音素可能缺失。 在目标口音数据不超过25分钟时,按覆盖度挑选的匹配池在WER和CER上持续优于顺序选择版本;25分钟覆盖度匹配池的效果与顺序选择版本用60分钟数据时相当。
每个源语音帧的邻居数量不再固定,而是随该帧附近特征分布的方向性强弱逐帧变化。 固定邻居数在特征变化剧烈的区域会引入不匹配的邻居,在分布均匀的区域又会让检索不稳定。 在L2-ARCTIC的ASI、ABA说话人和VCTK的P248上,AA-NN-AC的WER分别为8.35%、15.72%、5.86%,CER分别为4.04%、7.31%、2.37%,均低于NN-AC的13.12%/6.59%、17.52%/8.47%、6.40%/2.71%。
说话人风格调制从单一时间分辨率改为两级分辨率,在50 Hz和100 Hz上分别注入说话人统计量,再交给声码器恢复波形。 原NN-AC解码器只在粗时间尺度上做AdaIN,细粒度谐波结构要靠后续HiFi-GAN层恢复,风格调制与时间重建之间存在分辨率错配。 去掉渐进式AdaIN后,WER/CER从8.35%/4.04%升到9.06%/4.42%,SECS从0.80降到0.77,PPG从0.36升到0.39。
启示与展望
演示范围是英语口音转换:目标口音池由CMU-ARCTIC的25分钟美式英语录音离线构建并在所有转换中固定,源语音取自L2-ARCTIC的ASI、ABA和VCTK的P248,客观指标覆盖这三个说话人的全部语料,主观MOS由20名听者对每个测试集随机抽取的10条语句评分。
作者明确不声称WavLM第6层与第23层的层对是普遍最优,只作为基于逐层探测研究的合理设计选择;质量评价函数的权重是经验设定,作者也不声称其全局最优。反向的美式英语转其他口音时PPG距离普遍高于正向,作者推测解码器与声码器在美式英语上训练带来的声学先验是可能原因之一。未来工作指向跨语言场景和低延迟流式转换。
