跳到主要内容
检索

# 上下文蒸馏

1 篇关联报道

订阅更新
  1. arXiv

    上下文一撤,模型就忘:Cortex把临时提示写进前馈网络,50次连续编辑后仍保住88.9%增益

    大语言模型在提示里看到新知识时表现会变好,但提示一撤,这部分增益通常随之消失。Cortex把这种上下文带来的行为变化蒸馏进前馈网络的低秩增量或新增非线性通道,并让模型自己生成“未来会怎么用这段上下文”的查询作为训练样本。在14B模型上连续做50次事实编辑后,Cortex-Structural恢复了88.9%的上下文增益,同时保留99.8%的非目标性能。

已读完全部报道