跳到主要内容
返回时间线
arXiv来源发表:

上下文一撤,模型就忘:Cortex把临时提示写进前馈网络,50次连续编辑后仍保住88.9%增益

核心概要

大语言模型在提示里看到新知识时表现会变好,但提示一撤,这部分增益通常随之消失。Cortex把这种上下文带来的行为变化蒸馏进前馈网络的低秩增量或新增非线性通道,并让模型自己生成“未来会怎么用这段上下文”的查询作为训练样本。在14B模型上连续做50次事实编辑后,Cortex-Structural恢复了88.9%的上下文增益,同时保留99.8%的非目标性能。

深度剖析

上下文带来的能力增益可以被写进模型参数,撤掉上下文后仍然保留,而目标之外的能力基本不受影响。 常规的上下文内推理不改变参数,因此支持材料一旦移除,增益不会自动延续;外部记忆则依赖推理时把相关内容检索并重新送入。 在14B模型上连续执行50次事实编辑后,Cortex-Structural的整合率为88.9%、保留率为99.8%,比AlphaEdit分别高66.2和3.8个百分点。

做法是让带上下文的模型当老师、不带上下文的模型当学生,只训练新加的前馈网络参数。 Cortex提供两种写入方式:Synaptic在已有投影上加低秩增量,Structural新增非线性通道并冻结原有权重块;两者都能折进标准前馈层。 训练目标同时对齐输出分布的KL散度和前馈残差之后各层隐状态的均方误差,训练样本由更新前的冻结模型自己生成查询与回答,不接触留出的评测数据。

启示与展望

评测覆盖4B至120B的稠密与混合专家骨干,包括指令微调、推理和多模态模型,输入均为文本;智能体经验整合在ALFWorld与τ2-Bench上验证,其中τ2-Bench只测了GPT-OSS-20B。

上下文长度并不决定整合难度:在Qwen2.5批量设置下,约599词元的抑制上下文整合率为35%至57%,809词元的事实编辑为89%至91%,5152词元的API上下文为66%至74%。在GPT-OSS-20B的τ2-Bench上,Structural整合率为38.5%,Synaptic为−92.3%,后者虽保留98.5%的保留率却低于原始模型的目标表现。知识抑制在GPT-OSS-20B上整合率达97%至100%,但保留率只有76%至83%。