跳到主要内容
返回时间线
arXiv来源发表:

语音智能体不必逐字解码:冻结大模型读一次隐状态,八条语音的80个判断约0.1秒完成

核心概要

全双工语音智能体要回答大量小的封闭式判断,现有系统靠逐步自回归解码,速度慢。DuplexJev把语音识别编码器的隐状态经一个小连接器送入冻结的大语言模型,把每个问题读成选项上的单 token 分布,不做任何解码,8 卡节点对八条语音的 80 个判断约 0.1 秒完成。用末层连接器时语音问答接近读转写文本(90% 对 91%),换成跨注意力连接器后性别与情绪识别准确率均达 90%(分别从 55% 和 28% 提升),语音问答只降 1 个百分点(83% 到 82%)。

Source-provided article image: Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript
Figure 2 · arXiv

深度剖析

语音智能体对每个小问题不再逐字生成答案,而是让冻结的大语言模型在候选选项上给出一次单 token 分布,直接读出选择。 此前的做法是用慢速自回归解码逐个回答这类封闭式小判断。 在一个 8 卡 GPU 节点上,对八条语音的 80 个判断约 0.1 秒完成,且全程不做解码。

语音问答的准确率可以接近直接读转写文本,同时模型还能从声音本身获取说话人信息。 以读转写文本的问答为参照,末层连接器下语音问答为 90%,读文本为 91%。 改用跨注意力连接器后,性别与情绪准确率均达到 90%,分别从 55% 和 28% 提升,语音问答从 83% 降到 82%,只损失 1 个百分点。

训练信号落在读出的答案 token 上,而不是让学生模仿一个听不到声音的教师模型。 常见做法是转写蒸馏,其教师模型从未听到语音,因此无法传递声音里的信息。 判断类任务用交叉熵直接训练读出答案 token,蒸馏只保留给内容部分;编码器与大语言模型可互换,并公开权重、训练配方、面向全双工服务的批量推理流水线和一套双语语音问答集。

启示与展望

报道依据的是摘要层面的信息,未覆盖完整论文。已展示的范围是封闭式小判断:语音问答、性别与情绪识别,在 8 卡 GPU 节点上对八条语音的 80 个判断约 0.1 秒完成。摘要说明编码器与大语言模型可互换,并公开权重、训练配方、面向全双工服务的批量推理流水线和一套双语语音问答集,适合做全双工语音服务的工程读者评估。

摘要给出的数字对应特定连接器与设置:末层连接器下语音问答 90% 对读文本 91%,跨注意力连接器下语音问答为 82%,低于末层连接器的 90%。性别与情绪 90% 的结果只在跨注意力连接器下报告。这些比较来自摘要层面的描述,未涉及更大规模或开放生成式回答的情形。