跳到主要内容
检索

Changjiang Han

1 篇关联报道

订阅更新
  1. arXiv

    检索知识不再每次查库:ResMem 把证据读成残差记忆,五套问答平均 F1 从 32.83% 升到 34.48%

    检索增强生成每次回答都要维护语料索引并在线检索,带来存储与推理开销。ResMem 让冻结的基座模型离线阅读检索到的段落充当教师,只训练一个参数化记忆去学习加在对数几率上的残差,使推理时不再需要检索。在五套知识问答数据集上,它把平均 token F1 从冻结模型的 32.83% 提升到 34.48%,并在英文维基子集上把教师构建所保留的存储从 602.0 GiB 降到 32.0 GiB。

已读完全部报道