跳到主要内容
检索

# 结合代数层

1 篇关联报道

订阅更新
  1. arXiv

    把矩阵乘法换成结合代数积:110M参数模型生成吞吐提升6.2–7.8%,但GSM8K、MBPP、IFEval三项指标同时下降

    该工作提出用结合代数乘法表替换Transformer投影中的普通矩阵乘法,在保留全部学习权重块与参数量的前提下把q=2情形的双线性秩从Strassen 2×2算法的7降到6,并在约110M参数、12.3B token的对照预训练中观察到四个提示域上6.2–7.8%的端到端生成吞吐提升,同时GSM8K、IFEval、MBPP三项下游指标均低于稠密基线。

已读完全部报道