跳到主要内容
检索

# 单token监督

1 篇关联报道

订阅更新
  1. arXiv

    语音智能体不必逐字解码:冻结大模型读一次隐状态,八条语音的80个判断约0.1秒完成

    全双工语音智能体要回答大量小的封闭式判断,现有系统靠逐步自回归解码,速度慢。DuplexJev把语音识别编码器的隐状态经一个小连接器送入冻结的大语言模型,把每个问题读成选项上的单 token 分布,不做任何解码,8 卡节点对八条语音的 80 个判断约 0.1 秒完成。用末层连接器时语音问答接近读转写文本(90% 对 91%),换成跨注意力连接器后性别与情绪识别准确率均达 90%(分别从 55% 和 28% 提升),语音问答只降 1 个百分点(83% 到 82%)。

已读完全部报道