语音增强回到梅尔谱:BaME用331M DiT的2.9%参数取得更好增强,单步生成即可完成
核心概要
生成式语音增强近年多依赖可学习隐表示与大型生成骨干,声学保真、听感与处理效率难以兼顾。BaME重新把梅尔谱当作结构化声学表示:按频带切分的Transformer骨干只用331M DiT骨干2.9%的参数和66.6%的计算量,就取得更好的增强效果;再配合带退化相位先验的声码器与一步保真—感知对齐微调,在DNS-Challenge、EARS、GSR和URGENT基准的客观与主观评测上表现良好。
深度剖析
语音增强的生成骨干不必依赖大型DiT,按梅尔频带结构组织的轻量Transformer就能承担生成建模。 对照是同一流程中把骨干换成331M参数的DiT,其余设置保持一致。 SaT只用9.67M参数(DiT的2.9%)和单次采样6.65 GMACs/s(DiT的66.6%),在DNS-Challenge消融中PESQ为2.487、WER为9.242%,均优于DiT的2.448和11.615%。
梅尔谱的频带结构被直接用作建模单元,相邻梅尔带先合并成子带再编码,而不是逐带独立处理。 此前的梅尔域子带工作CleanMel在单个梅尔频点上做窄带建模,BaME把相邻频带归入同一子带以降低开销。 子带数从少到多的扫描显示指标随子带变细而提升,但25增至50时增益明显变小而参数与复杂度大幅上升,因此默认取25个子带。
波形重建阶段把退化语音的相位作为先验送入声码器,并用非侵入式质量评估器在零相位与退化相位两路结果间自适应选择。 常规梅尔声码流程丢弃相位,只能由声码器从学到的先验中推断缺失相位。 在五种相位初始化条件的对比中,含噪相位在全部指标上最好;但混响与含噪混响相位在非侵入式指标上明显低于零相位,这正是引入双路选择的原因。
一步生成通过同时约束保真域与感知域来微调流匹配模型,使单步推理也能兼顾重建精度与听感。 标准流匹配在全部时间步上优化,且侵入式指标在1至2次函数评估时已达最高,而非侵入式指标需要更多步数。 在DNS-Challenge消融中,同时使用保真域与WavLM感知域约束的配置PESQ为3.430、WER为1.607%,优于仅感知域或仅保真域的配置。
启示与展望
评测覆盖DNS-Challenge 2020、EARS-WHAM_v2与EARS-Reverb_v2、GSR以及URGENT Challenge 2025非盲测试集,音频统一重采样到16 kHz,主观测试为22名有音频信号处理背景的听者参与的A/B偏好实验。默认配置采用一步生成,声码器为轻量的DegVoC,语义条件来自微调后的WavLM。
含混响条件下退化相位会使部分非侵入式指标下降,双相位选择依赖非侵入式评估器的判断,不同评估器对退化相位的偏好并不一致。在URGENT挑战对比中,BaME在非侵入式指标上超过排名靠前的系统,但若干侵入式指标仍有差距。作者也指出,现有客观指标尚不能作为同时反映保真与听感的统一标准,且结果并不主张梅尔表示就是最优选择。
