跳到主要内容
返回时间线
arXiv来源发表:

录音想变多大声就变多大声:连续声压级控制,WavLM特征空间做到目标变化的83%

核心概要

语音强度转换不再只靠参考录音或几个离散档位,而是直接给定一个以dB SPL为单位的连续目标声压级。转换器在冻结编码器/解码器的特征空间里工作,用条件循环一致GAN训练,不需要平行数据。在WavLM第六层特征上,转换实现了目标强度变化的83%,感知实验也显示听者感知到的响度随目标级升高。

Source-provided article image: Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training
Figure 2 · arXiv

深度剖析

语音强度转换现在可以按一个连续的物理量来指定目标:以dB SPL计、折算到嘴前1米的等效连续声压级。 此前的系统要么用一段已经带有目标强度的参考录音,要么用语料里少数几个离散档位(如噪声等级或努力类别)来控制输出。 在标定语料AVID上,同一转换器在三种冻结编码器/解码器组合上比较,WavLM第六层达到目标强度变化的0.83,log-mel为0.62,SpeechTokenizer为0.58,排序与各表示自身的上限一致。

转换只训练一个小型转换器,编码器和解码器全程冻结,输出因此继承所选编解码对的重建质量。 此前相关工作会重训表示本身,例如把SpeechTokenizer的第二层蒸馏自一个专门的发声努力编码器。 转换器是六层双向Transformer,逐帧输出残差修正,因此不改变时长和语速;训练用2秒片段,目标级在训练集第5到99百分位之间均匀抽取。

训练不需要平行数据,也不需要把强度预测器放进生成器目标里,目标级由判别器条件化来施加。 若用预训练强度预测器作为训练信号,序列与级别的关系会由预测器而非真实数据决定。 判别器每一步同时打分三个配对:真实序列配其源级、转换序列配其目标级、真实序列配错配级别;由于级别连续,真实序列被视为其源级正负若干dB内的有效样本。

感知实验显示,转换后的语音在幅度归一化条件下,其被感知的响度随目标级单调上升。 客观指标之外,还需要确认听者是否真的把转换当成发声强度的变化,而不是播放音量的变化。 81名听者参与,最终保留54人;WavLM第六层转换的感知级对目标级的斜率为0.69(95%区间0.60–0.78),原始录音为0.68(0.51–0.84),两者无差异。

启示与展望

这项工作展示的是在标定语料AVID上、以嘴前1米等效连续声压级为目标的转换:录音链需标定、麦克风距离需已知,训练需要每个训练语句的源级。评估覆盖六名未见说话人、25个句子、两次重复,共300组、1198条源录音、4786次转换,并配一项感知实验。作者提出,未来可用自动强度预测器估计训练源级,从而利用更大、未标定的语料。

转换对相对强度的控制较好,但绝对感知级不够一致:同一目标级下,不同源录音的感知级标准差约为6 dB。转换对基频和频谱量的位移小于原始录音,作者将其列为有待改进之处。标定且覆盖宽强度范围的语料稀缺,限制了训练数据。