Reson8开源0.5B语音识别模型Rumble-2-Flash:302小时呼叫中心录音上与30B模型打平
核心概要
Reson8以Apache 2.0许可开源了0.5B参数的语音识别模型Rumble-2-Flash,支持40多种语言并自动检测语种。它由更大的生产模型Rumble-2经同策略蒸馏压缩而来,学生模型自己转写音频、教师逐token给出概率分布进行纠正。在Open ASR Leaderboard多语种赛道上,它平均错误率6.96%,优于15倍大的Meta omniASR-LLM 7B;在AppTek 302小时、14种英语口音的呼叫中心基准上达到7.86% WER,与30B的Nemotron 3.5 Transcribe的7.78%相当。
深度剖析
一个0.5B参数的语音识别模型被以Apache 2.0许可公开,覆盖40多种语言并能自动检测语种,官方称其与体积为自身3至60倍的模型竞争。 此前的同类开源模型要么体积更大,要么需要自定义运行时代码;Rumble-2-Flash在Transformers和vLLM中原生支持,无需fork运行时或trust_remote_code。 在Open ASR Leaderboard多语种赛道(中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语、英语)上平均错误率6.96%,优于15倍大的Meta omniASR-LLM 7B,并领先Whisper large-v3;英语赛道平均WER为6.6%。
模型通过同策略蒸馏从更大的生产模型Rumble-2压缩得到,学生模型不学习教师写好的转写文本,而是自己转写音频,再由教师逐token给出下一个token的概率并让学生对齐。 常规同策略蒸馏要求教师与学生共享分词器,而Rumble-2-Flash采用Qwen3-ASR架构因而沿用其词表,与教师词表不一致;GOLD方法把两个分词器切分不同的token合并,使两者在同一段文本上比较,共有词表的token直接比较,其余按排序后的概率比较。 在AppTek呼叫中心基准上,302小时求助热线录音、14种英语口音、按AppTek自有脚本评分,Rumble-2-Flash达到7.86% WER,与NVIDIA Nemotron 3.5 Transcribe(30B)的7.78%相当,领先同族的Qwen3-ASR 0.6B(8.7%),接近Qwen3-ASR 1.7B(7.4%)。
启示与展望
已展示的范围是公开榜单上的多语种与英语转写,以及AppTek 302小时、14种英语口音的呼叫中心基准;吞吐数字对应HF Open ASR Leaderboard上批次保持满载的较大数据集。
吞吐量取决于批次填充程度,官方给出的超过7,000 RTFx 只在批次满载时成立;呼叫中心基准按AppTek自有脚本评分,且对比中Qwen3-ASR 1.7B的7.4%仍优于该模型。
