跳到主要内容
检索

# 流式神经音频分词器

1 篇关联报道

订阅更新
  1. 把语音编码器压到 2.8 倍后,蒸馏学生模型在六组师生配对中的五组里与教师模型的相对词错率差距不超过 1.9%

    这项工作研究如何用蒸馏压缩 Apple 设备上端侧听写系统所用的流式神经音频编码器(tokenizer),其监督目标既不是离散 token 也不是输出分布,而是模型实际消费的量化前隐表示;只训练学生编码器以平方误差回归教师的逐帧隐表示,并用一个仿射层吸收师生宽度差异,因为该目标位于量化器和语言模型桥接之前,同一套方案可覆盖两种 token 接口,并同时适用于单独预训练和与语言模型联合训练的 tokenizer;在 2.8 倍压缩下,蒸馏学生在六组师生配对中的五组里无需任何微调即保持在教师相对词错率 1.9% 以内,并比同等容量独立训练的 tokenizer 相对提升 3.9%。

已读完全部报道