跳到主要内容
检索

# 质量分配注意力

1 篇关联报道

订阅更新
  1. arXiv

    MALA 让注意力按归一化贡献自行分配后置计算,128K 训练前向/反向延迟降至 FullAttn 的 1/2.2 与 1/3.0

    该工作提出 MassAlloc Attention(MALA),在保留全部合法因果 QK 打分的前提下,用在线 softmax 归一化贡献决定哪些 tile 继续执行后置计算,在 8K 匹配工作量下平均遗漏质量 0.0188%(参考质量 oracle 为 0.0182%),1K–32K 上下文保持低输出与梯度误差,8K 联想召回 89.67%(FullAttn 89.97%),128K、8 卡张量并行下训练前向与反向延迟分别降低 2.2 倍与 3.0 倍、推理解码降低 1.6 倍,0.6B–14B 规模律训练困惑度贴近 FullAttn 且 14B 在 32K 长上下文阶段总训练 FLOPs 减少 23.1%,14B 与 32B 模型在知识、推理与长上下文检索上取得与

已读完全部报道