每份文档配一个缓存适配器:冻结的284B模型在企业问答上相对提升38.2%
核心概要
持续学习要让语言模型吸收组织不断新增的私有文档,但直接更新共享参数会覆盖旧知识。microfitting 改为对每份文档离线训练一个小型低秩适配器并缓存,基座模型保持冻结,新文档只新增自己的适配器。在真实企业文档的开放书问答环境 EDO 上,随数据生成配方迭代,相对基座模型的提升依次为 30.9%、37.5% 和 38.2%。
深度剖析
企业文档问答的适配不再每次请求都重训模型,而是每份文档预先训练一个适配器、存下来,之后凡问到这份文档就加载它。 此前的测试时训练要为每个请求单独做梯度更新,同一份文档被反复提问就要重复计算;而微调共享参数又会带来灾难性遗忘,即新更新覆盖旧知识。 在 EDO 这个基于真实企业文档的开放书问答环境上,相对基座模型的提升随配方迭代从 30.9% 升到 37.5%,再到 38.2%,三次评估各用十份此前未用过的表格密集文档和 200 道题。
做法是给每份文档生成合成问题,用这些问题把一个小适配器训练一轮,再把适配器导出成标准 LoRA 检查点缓存起来。 适配器由 Internalizer 这一文档到适配器参数的超网络初始化,超网络只在训练时使用,导出后即可由支持标准 LoRA 的服务栈加载。 基座是冻结的 284B 参数 DeepSeek V4 Flash,每个适配器为秩 16 的 LoRA、约 1270 万可训练参数,每份文档 40 道题、每步 8 条、一轮 50 步。
生成训练题的配方本身也在改进:系统对比适配器与基座模型在留出题上的对错,分析纠正、退化和生成题与目标题的偏差,再改写下一批文档用的配方。 候选配方只有在同一批新留出题上与现行配方做配对比较、且表现更好时才被采纳,否则保留原有缓存适配器。 在另一项可纠正错误研究中,配方逐步转向基座模型答错但适配器能学会的题型,相对基座的提升从 9.9% 到 42.7% 再到 55.6%,但该研究的留出题分布随配方变化,衡量的是定向能力而非固定工作负载上的性能。
启示与展望
评估覆盖 2.2K 到 4K token 的企业风格文档,包括政策、规划文档、技术规范和表格,问答为开放书形式,文档始终留在提示中;主实验的持续改进序列为三次十文档迭代。
主序列每个条件只有一个训练种子、每次迭代只有一次基座模型运行,相对增益的单调上升基于三个样本,不能单独确定每次配方改动的贡献;可纠正错误研究中目标题分布随配方改变,因此衡量的是定向能力而非固定工作负载上的性能;用户问题分布变化下的适配时间尚未测量。
