跳到主要内容
返回时间线
arXiv来源发表:

生成式目标说话人提取先修证据再解码:干净混音错说话人率从6.87%降到0.75%

核心概要

基于大语言模型的目标说话人提取会生成听感自然但内容漂移的语音,而它依赖的确定性提取证据本身可能已经抽错了说话人,把错误证据喂给生成模型只会强化错误。为此,一条免训练的证据修复流程从冻结的确定性提取路径构造五个候选,用冻结的说话人编码器选出与目标注册语音最一致的一个,再以该波形约束大语言模型的码空间解码。在Libri2Mix上,干净混音的错误说话人提取率从6.87%降到0.75%,含噪条件从18.95%降到10.46%;生成模型检查点不变时,含噪内容切换率与声学切换率分别从12.79%和1.68%降到9.10%和0.51%。

Source-provided article image: Speaker-Consistent Grounding for Confusion-Resilient LLM-Based Target Speech Extraction
arXiv

深度剖析

目标说话人提取系统即使拿到目标说话人的注册语音,也可能转而跟随竞争说话人,输出依然清晰可懂,却带着干扰者的身份和语言内容,这种失败被称为目标混淆。 此前的做法是让生成式提取模型对齐一个确定性提取结果,以抑制自回归生成中凭空编造的内容;但确定性结果本身可能已经抽错人,对齐它等于把错误固定下来。 在Libri2Mix干净测试集上,只用完整注册语音的确定性基线错误说话人率为6.87%,加入五候选选择后降到0.75%;含噪测试集上相应从18.95%降到10.46%。

修复后的证据可以直接作为输出,也可以转成语音词元序列,在解码每一步惩罚与证据不一致的候选词元,从而压住生成过程中的内容漂移。 约束解码此前用于自回归语音增强,这里把它接到目标说话人提取上,并额外按每条语音的估计难度调整约束强度。 生成模型检查点保持不变,含噪测试集上固定强度约束把内容切换率从12.79%降到9.10%、声学切换率从1.68%降到0.51%,自适应强度则取得最高的说话人裕度和预测质量。

启示与展望

演示范围是16 kHz的Libri2Mix-min双说话人混音,注册语音均为干净、同说话人、不同话语的录音,含噪条件采用Libri2Mix/WHAM!的mix-both设置,并另建受控信噪比试验;修复阶段只使用混合信号和目标注册语音,不使用干净参考。

含噪条件下五候选修复只找回57.89%的高置信混淆,低于干净条件下的89.20%,也明显低于同条件下90.45%与66.72%的参考上限,说明严重失真同时加大了候选生成与选择的难度;直接返回修复波形在强噪声下会带来小幅预测质量损失;基于Whisper的词错误率被作者视为有参考价值但非结论性,需与内容切换、说话人一致性和感知质量一起解读。