跳到主要内容
检索

# CoPre-MoE 框架

1 篇关联报道

订阅更新
  1. arXiv

    多模态持续微调不再线性堆专家:CoPre-MoE把重叠专家并入固定池,UCIT遗忘率降到-0.10

    多模态大模型按任务顺序学习时,每来一个新任务就新增一组专家虽能避免覆盖旧参数,却让专家数量随任务线性增长,且不同任务反复学到重叠功能。CoPre-MoE把功能重叠的专家合并进固定容量的通用专家池,把其余任务专属专家分解为共享投影基与紧凑核心,并用冻结的历史检索键加正交惩罚约束路由。在UCIT与CoIN两个持续指令微调基准上,它取得最高平均分,UCIT上反向迁移为-0.10,适配参数比MoELoRA少68.3%。

已读完全部报道