STAM-ASR 用说话人-时间锚定与记忆扩展预训练 AudioLLM,在 AMI、ICSI、LibriCSS、NOTSOFAR-1 上验证多说话人识别
该工作提出 STAM-ASR,一个在已预训练 AudioLLM 之上扩展的轻量框架,不依赖外部说话人分离系统,而是直接从 AudioLLM 中间特征学习说话人活动与说话人感知表示,为语义表示提供显式的“谁在何时说话”线索,并维护固定大小的说话人记忆与会话记忆以跨轮次携带上下文,在 AMI、ICSI、LibriCSS 和 NOTSOFAR-1 上覆盖近讲、远场、重叠与跨域条件进行评估,报告结果显示说话人-时间条件化与记忆带来互补收益,而参考说话人活动与预测说话人活动之间的差距表明稳健的说话人跟踪仍是关键挑战。