一句话就能挑出想听的声音:Textraction 用同一套权重兼顾单麦与双麦,空间提取达 10.53 dB
核心概要
Textraction 把说话人提取与语音增强放进同一个模型:用户用自然语言说明要保留或去掉哪位说话人、哪种噪声,模型一次前向就输出目标,不再先分离再挑选。它用轻量文本检索编码器替代大语言模型,并让提示与录音配置在每一层参与条件化,因此单通道与双通道输入共享后续网络。在模拟混响数据上,属性引导提取达到 11.11 dB(多通道)和 10.83 dB(单通道)SI-SDR,空间引导提取为 10.53 dB,增强任务为 18.66 dB(多通道)和 18.15 dB(单通道)。
深度剖析
Textraction 让用户用一句自然语言直接指定要从混合录音里取出什么,说话人或方向性噪声都可以,并且同一个模型同时接受单麦克风和双麦克风输入。 此前的文本引导说话人提取方法主要在单通道下工作,多通道方案则依赖预设的绝对区域或冻结的文本编码器,难以处理“保留”与“去除”这类指令差异。 在模拟混响混合数据上,属性引导提取的 SI-SDR 从输入的约 -0.03 dB 提升到 11.11 dB(多通道)和 10.83 dB(单通道),STOI 从 0.575 升到 0.797 和 0.789。
模型把提示和录音配置作为条件送进每一个处理块,由注意力自行决定保留混合中的哪些部分,因此不需要先分离出所有声源再挑选目标。 常见做法是先做分离、再按线索选择目标,多出一个可能出错的阶段;Textraction 用一次前向直接从混合信号估计目标。 单通道与多通道输入各走一个专用编码器,之后共享五个 TF-Locoformer 块,条件化共出现在六个位置;整套网络约 5200 万参数,其中文本编码器占 3300 万。
文本侧不再调用大语言模型,而是把紧凑的 E5 检索模型用对比学习微调,使它区分“保留”和“去除”这类相反指令,同时对换一种说法保持稳定。 此前工作多用大语言模型生成文本嵌入,计算开销大,常需 LoRA 等参数高效微调;冻结的文本编码器又难以处理多样的提示写法。 微调后,锚点提示与同义改写提示的余弦相似度为 0.9911,与相反指令提示的相似度明显拉开;在属性引导提取中,全部保留、仅保留、仅去除三种提示写法的 SI-SDR 差异在 1 dB 以内。
启示与展望
演示范围是仿真的混响混合数据:语音取自 LibriSpeech、噪声取自 VGGSound,用镜像法房间模拟生成双麦克风录音,采样率 8 kHz;提取场景最多两位同时说话的说话人和两个方向性噪声源,增强场景为一位目标说话人加一至两个噪声源。
全部实验都在仿真混响混合上完成,真实麦克风阵列录音上的表现尚未评估;提取设定固定为最多两个说话人和两个方向性噪声源,扩展到更多或数量未知的声源仍是开放问题;从严重退化的输入中提取单个方向性噪声仍是最难的情形,SI-SDR 约 3.8 dB;空间描述取自一组固定的相对关系,尚不支持角度或距离这类定量表述。
