跳到主要内容
检索

# 参数干扰

1 篇关联报道

订阅更新
  1. arXiv

    模型合并不再需要同伴任务数据:ImageNet当通用代理,CLIP合并精度逼近用真实数据的oracle

    模型合并要把多个独立微调的专家合成一个多任务模型,但此前的预合并正则化方法需要访问其他任务的数据,违背了合并的独立性前提。该工作用谱覆盖与谱泄漏两个量刻画通用代理分布与目标任务分布的关系,并给出参数干扰的统一上界:谱参数越小,干扰越低。在CLIP视觉基准上,以ImageNet为代理的三种正则化实例化都优于现有预合并基线,并接近需要同伴任务数据的oracle;在语言模型上,与TRACE无关的WikiText-103代理同样提升了合并表现。

已读完全部报道