多模态持续微调不再线性堆专家:CoPre-MoE把重叠专家并入固定池,UCIT遗忘率降到-0.10
核心概要
多模态大模型按任务顺序学习时,每来一个新任务就新增一组专家虽能避免覆盖旧参数,却让专家数量随任务线性增长,且不同任务反复学到重叠功能。CoPre-MoE把功能重叠的专家合并进固定容量的通用专家池,把其余任务专属专家分解为共享投影基与紧凑核心,并用冻结的历史检索键加正交惩罚约束路由。在UCIT与CoIN两个持续指令微调基准上,它取得最高平均分,UCIT上反向迁移为-0.10,适配参数比MoELoRA少68.3%。
深度剖析
多模态大模型连续学习多个视觉指令任务时,可以不再为每个任务永久保留一整套独立专家,而是把跨任务功能重叠的专家合并进一个容量固定的通用专家池。 此前的MoE式持续微调为避免覆盖历史参数,为每个新任务单独分配专家并冻结旧专家,代价是总参数随任务数线性增长,而不同任务的专家又反复学到重叠功能。 在UCIT的六个视觉语言任务上,把当前任务的专家替换为其他任务中功能最相似的专家后,VizWiz、Flickr30k、ArxivQA等任务准确率几乎不变,ImageNet-R、IconQA、CLEVR仍保留约90%的原性能,说明跨任务冗余确实存在,但直接替换也会丢失原生专家学到的能力。
合并之后剩下的任务专属专家被压缩成共享投影基加紧凑任务核心,推理时由输入相关的路由同时调用两个池,不需要测试时的任务标签。 通用池按激活加权算子合并,用训练中累积的对角二阶矩估计候选专家与槽位的功能失真,合并结果再截断SVD投影回原秩;私有池用Tucker式分解保留各组件身份。 在UCIT上,完整模型平均分73.93、反向迁移-0.10;去掉动态角色分配后平均分降至72.42、反向迁移-0.52,去掉激活加权合并后平均分72.77,去掉多键保留后平均分72.95、反向迁移-0.45。
路由通过给每个专家配一个可学习检索键来维持历史能力,历史键在后续任务中冻结,新键用正交惩罚与旧键分开。 若把每个通用槽位的多个来源键平均成单一向量,历史专家的检索会变差,平均分与反向迁移都下降。 在CoIN的八个任务序列上,完整模型平均分70.00、反向迁移0.02,比最强基线SAME的66.82高3.18分;UCIT上比SAME的67.12高6.81分。
启示与展望
演示范围是LLaVA-1.5-7B骨干在UCIT六任务与CoIN八任务序列上的持续指令微调,评测不含测试时任务标签;私有秩与正交惩罚权重在UCIT留出验证集上选定。
私有秩过小会因表示容量不足而掉分,超过16后收益波动或边际;正交惩罚过强会限制键空间探索并略微降低保留;任务顺序改变时最终平均分在71.83到73.93之间波动,正向反向迁移伴随略低的最终均值;生成回复仍继承底层多模态大模型骨干的视觉幻觉与安全对齐行为。
