跳到主要内容
检索

Konstantinos Skianis

1 篇关联报道

订阅更新
  1. arXiv

    Backpack语言模型允许上下文“否决”词义:等参数下困惑度差距从3.51降到2.43

    Backpack语言模型把每个词的预测写成若干非语境词义向量的线性组合,但组合权重来自softmax,只能选词义或忽略词义,无法抵消错误词义。差分Backpack把权重改为两个softmax映射之差并加一个可学习的逐词义增益,使上下文可以给某个词义负权重。在WikiText-103等参数设置下,验证困惑度从24.60降到23.52,与普通Transformer的差距由3.51缩到2.43;这一优势在OpenWebText上到3.5亿参数仍存在,但相对幅度随规模缩小。

已读完全部报道