冻结大模型也能全双工对话:只训9700万参数、约30 GPU小时,停顿抢话率降到0.170
核心概要
全双工语音对话通常要靠数十万到上百万小时语音训练,还会改写提供知识的大模型。这套系统把Qwen3-Omni-30B-A3B的思考端整体冻结,只训练低秩适配器、音频适配器、通道融合层和17个新词元嵌入,共9700万参数,用四阶段课程约30 GPU小时完成转换。在Full-Duplex-Bench上,它在开源系统中于用户仅停顿时最不容易抢话,合成子集轮次接管率为0.170,次优系统为0.584;在InteractionBench上,其口语任务准确率、接地性和长对话连贯性在开源系统中领先。
深度剖析
全双工对话能力可以加在一个冻结的通用多模态大模型上,而不必重训语音模型。 此前Moshi从7B文本模型出发,先在700万小时转写音频上预训练,再在Fisher等数据上后训练;SyncLLM从Llama3-8B出发,用21.2万小时合成对话训练。 在Full-Duplex-Bench v1.0的开源系统对比中,这套系统在用户仅停顿时的合成子集轮次接管率为0.170,次优的PersonaPlex为0.584,其余开源系统在0.642以上。
说话时机被拆成逐帧的词元决策,由状态机约束在合法动作内。 端到端模型把轮次转换隐含在生成的音频流里,显式方案则多在较粗的时间片或两状态机上决定。 思考端在12.5 Hz时钟上每80毫秒输出一个智能体文本词元,停顿、让出话轮和开始说话都是同一词表中的词元,采样前由有限状态机屏蔽非法词元。
思考端与发声端只通过离散词元相连,因此可以各自独立训练。 Qwen2.5-Omni的发声端读取思考端的隐表示,Qwen3-Omni仍向其传入连续多模态特征,两半一起训练和运行。 发声端只接收思考端的离散词元,用语音配其词级转写训练,单个监督阶段在36,996条过滤后的样本上训练四个轮次,耗时2.65小时(单张NVIDIA B200)。
启示与展望
演示范围是冻结的Qwen3-Omni-30B-A3B思考端加一个从PersonaPlex谱系初始化的发声端,在Full-Duplex-Bench v1.0、v1.5和InteractionBench上端到端评测,输出音频与输入等长,不使用外部语音活动检测器。
数据高效的说法只覆盖适配成本,起点模型本身已在大规模音频上预训练,且与Moshi、SyncLLM的比较跨越了单位:这里计训练样本与GPU小时,对方报告音频小时数,两者未做换算。发声端当前把用户音频嵌入置零,只按智能体文本发声,也不控制音量与耳语;回声道步骤只用了701段独特对话,每段重复八次。
