跳到主要内容
检索

# PMOPD方法

1 篇关联报道

订阅更新
  1. arXiv

    PMOPD用参数更新子空间投影缓解多教师蒸馏的能力跷跷板,在Qwen2.5-7B与Llama-3.1-8B上把三任务均分分别提高2.54和2.09分

    该工作提出PMOPD,从已完成任务块的累积参数位移中构建逐矩阵的低维子空间记忆,并对后续任务的梯度与Adafactor优化器更新做双重投影以去除与受保护任务方向冲突的分量,同时用轻量冲突探针确定任务顺序、用子空间一致性选择循环次数;在Code、Reason、Math三个任务上,PMOPD在Qwen2.5-7B和Llama-3.1-8B上均优于MOPD,三任务平均分分别提升2.54分和2.09分,且每个单项任务都有提升。

已读完全部报道