跳到主要内容
检索

# 音频大语言模型

1 篇关联报道

订阅更新
  1. arXiv

    STAM-ASR 用说话人-时间锚定与记忆扩展预训练 AudioLLM,在 AMI、ICSI、LibriCSS、NOTSOFAR-1 上实现多说话人识别

    STAM-ASR 是一个轻量框架,它在不依赖外部说话人分离系统、也不做显式语音分离的前提下,直接从预训练 AudioLLM 的中间特征中学习说话人活动与说话人感知表示,为语义表示提供“谁在何时说话”的显式线索,并维护固定大小的说话人记忆与会话记忆以跨轮次携带上下文;在 AMI、ICSI、LibriCSS 和 NOTSOFAR-1 上覆盖近讲、远场、重叠与跨域条件进行评估,报告结果显示说话人-时间条件化与记忆带来互补收益,而参考说话人活动与预测说话人活动之间的差距表明稳健的说话人跟踪仍是关键挑战。

已读完全部报道