跳到主要内容
检索

# 剪枝CTC

1 篇关联报道

订阅更新
  1. arXiv

    Pruned CTC 把大词表 CTC 训练显存从线性增长中解放,LLM-CTC 在 GigaSpeech 上以 7–10 倍更快识别保持 7% 以内相对 WER

    该工作提出 Pruned CTC:利用每个合法 CTC 对齐只用到目标 token 与 blank 这一结构,把对齐计算限制在批内目标类与 blank 的子集上、同时保留全词表归一化,并证明其在损失与一阶梯度上与全词表 CTC 精确等价;在 Zipformer-M 与 180K 词表下把完整训练步显存降低 5.1 倍、步时开销仅 17%,在三个语料上匹配标准 CTC 精度;基于它构建的 LLM-CTC 让预训练因果 LLM 以非自回归方式做原生词表 ASR,在 GigaSpeech 上六个 Qwen3 规模(0.6B 至 32B)内相对 LLM-CE 的 WER 差距在 7% 以内而识别快 7 至 10 倍,流式扩展在测试集上相对匹配的离线模型 WER 差距在 3% 以内。

已读完全部报道