Backpack语言模型允许上下文“否决”词义:等参数下困惑度差距从3.51降到2.43
核心概要
Backpack语言模型把每个词的预测写成若干非语境词义向量的线性组合,但组合权重来自softmax,只能选词义或忽略词义,无法抵消错误词义。差分Backpack把权重改为两个softmax映射之差并加一个可学习的逐词义增益,使上下文可以给某个词义负权重。在WikiText-103等参数设置下,验证困惑度从24.60降到23.52,与普通Transformer的差距由3.51缩到2.43;这一优势在OpenWebText上到3.5亿参数仍存在,但相对幅度随规模缩小。
深度剖析
Backpack语言模型的词义组合权重现在可以取负值,上下文因此能主动抑制一个词义,而不只是不选它。 原版Backpack的权重是softmax输出,非负,所以像bank出现在金融句子里时,它的河流义只能不被使用,却仍会漏进预测,模型没有机制抵消这份错误词义的贡献。 在WikiText-103、约7000万参数、相同训练预算下,精确验证困惑度从softmax Backpack的24.60降到差分Backpack的23.52,普通Transformer为21.09,差距由3.51缩到2.43;三个随机种子重训两条主线得到23.52与24.60,差距约为标准误的若干倍。
做法是把词义权重算成两个因果softmax映射之差,第一个映射激活词义,第二个抑制词义,每个权重落在正负之间,每行的权重总量仍为1。 逐词义增益按差分注意力的方式重新参数化,词义向量本身仍是冻结的非语境向量,读出仍是对这些向量的严格线性组合,因此每个词义对每个预测的贡献仍是可精确检查的量。 消融把增益冻结在零、把两个映射相加、或只缩放单个softmax,三者各自去掉一个成分后最多只找回约28%的增益,且负权重质量都为零;另一种带符号规则Cog Attention落在24.72,与softmax持平,说明起作用的是差分之差的结构而非符号本身。
启示与展望
实验覆盖约7000万到3.5亿参数,主配置在WikiText-103上训练,较大模型在OpenWebText上训练,全部为英文语料;词义级解释与bank这类词义分明的例子属于定性展示,抑制在推理时被移除后困惑度显著上升,说明训练后的模型依赖这一通路。
优势随规模缩小,从7000万参数的相对幅度到3.5亿参数更低,十亿参数规模是否仍成立尚未回答;3.5亿参数的运行、Transformer基线、词义数量扫描与控制实验都是单种子;零样本WiC探针没有测出带符号权重的优势,而该规模下上下文隐状态基线本身也仅略高于多数类,因此这一实验无法判定问题;去偏实验在每个规模上也是单种子,且3.5亿参数处前沿排序反转,原因未解释。
