跳到主要内容
检索

# 全双工对话

3 篇关联报道

订阅更新
  1. arXiv

    冻结大模型也能全双工对话:只训9700万参数、约30 GPU小时,停顿抢话率降到0.170

    全双工语音对话通常要靠数十万到上百万小时语音训练,还会改写提供知识的大模型。这套系统把Qwen3-Omni-30B-A3B的思考端整体冻结,只训练低秩适配器、音频适配器、通道融合层和17个新词元嵌入,共9700万参数,用四阶段课程约30 GPU小时完成转换。在Full-Duplex-Bench上,它在开源系统中于用户仅停顿时最不容易抢话,合成子集轮次接管率为0.170,次优系统为0.584;在InteractionBench上,其口语任务准确率、接地性和长对话连贯性在开源系统中领先。

  2. arXiv

    全双工语音模型聊到十分钟就崩:自蒸馏加双分辨率上下文,把语音内容与音色退化压低71–96%

    全双工语音对话模型在长会话中会出现响应变慢、内容失序和音色漂移,此前缺少针对这一稳定性的专门训练与结构设计。研究用闭环模拟用户逐分钟量化四款公开模型的退化,再以特权上下文自蒸馏做轻量LoRA适配,并叠加双分辨率上下文(TRC)压缩较早历史。在三种架构不同的模型上,自蒸馏在十分钟训练时长内缓解退化,加入TRC后语音内容与音色退化相对基线降低71–96%,并把改善延续到二十分钟会话。

  3. arXiv

    Duplex-MPE 用 2000 组多人对话场景测出:语音助手话多不等于答对,MiniCPM-o 4.5 在四项能力中三项领先

    研究者提出 Duplex-MPE 基准,用 2000 组含三到四名人类说话者与助手 Aria 的连续多人对话场景(每组配对显式点名与隐式指代两种版本),在无转写、无说话人标签、无轮次边界的音频输入下,用新应答发起率、条件答案正确率、静默保持率与应答窗口让出率四项指标评测五个开源全双工语音系统,发现 MiniCPM-o 4.5 在三项计分能力上领先,而其他系统的高频发声常与答案错误或未能保持静默并存。

已读完全部报道