跳到主要内容
返回时间线
arXiv来源发表:

检索知识不再每次查库:ResMem 把证据读成残差记忆,五套问答平均 F1 从 32.83% 升到 34.48%

核心概要

检索增强生成每次回答都要维护语料索引并在线检索,带来存储与推理开销。ResMem 让冻结的基座模型离线阅读检索到的段落充当教师,只训练一个参数化记忆去学习加在对数几率上的残差,使推理时不再需要检索。在五套知识问答数据集上,它把平均 token F1 从冻结模型的 32.83% 提升到 34.48%,并在英文维基子集上把教师构建所保留的存储从 602.0 GiB 降到 32.0 GiB。

Source-provided article image: From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory
arXiv

深度剖析

外部知识可以写进一个附加在冻结语言模型输出上的小型记忆,推理时不再查询索引或执行检索。 此前的参数化记忆(如 MLP Memory)只学习复现检索器给出的下一词分布,训练损失从未见过基座模型自身的预测,因此一个复现检索器很好的记忆仍可能覆盖基座原本正确的答案。 在五套知识问答数据集共 38,627 个问题上,ResMem 把平均 token F1 从冻结基座的 32.83% 提高到 34.48%,平均 EM 从 25.91 提高到 26.74,且每个数据集上两项指标都提升。

记忆学习的是基座预测需要的那部分修正,而不是检索器分布的副本。 ResMem 让同一个冻结基座在读到 BM25 检索出的证据时充当教师,学生只看到问题,记忆输出一个加在基座对数几率上的残差,蒸馏损失和下一词损失都算在基座加残差的和上。 在与 MLP Memory 的逐题配对中,ResMem 修正 704 个基座答错的问题、破坏 381 个基座答对的问题,MLP Memory 则为 633 和 482,净 EM 增益 0.84 对 0.39 个百分点,配对差 0.45,95% 区间 [0.25, 0.64]。

教师构建阶段不再需要保留 kNN 数据存储及其索引。 此前的路线从语料表示的 kNN 数据存储中取监督,还要维护 FAISS IVF-PQ 索引;ResMem 改用文本检索,只缓存教师每个位置的前 64 个目标。 在英文维基子集上,kNN 路线保留 570.011 GiB 数据存储加 5.069 GiB 索引,RAG 路线保留 5.067 GiB 检索文本与 BM25 索引,两者都缓存 26.967 GiB 目标,合计 602.047 对 32.033 GiB,减少 94.7%。

启示与展望

演示范围是 Mistral-7B-v0.3 基座、2021 年 12 月英文维基转储语料和五套知识问答数据集,记忆为八层、约 1.54B 参数;存储对比在 74 个分片、约 1/64 语料的维基子集上测得。

共享教师消融中,残差目标主要保住正确答案,额外的修复来自阅读证据的教师;在固定教师下它用部分修复换取更多保留,残差配置领先 0.117 个 F1 点。设计上记忆只读一个隐藏状态、只写输出对数几率,教师的增益没有经过基座中间层。