模型合并不再需要同伴任务数据:ImageNet当通用代理,CLIP合并精度逼近用真实数据的oracle
核心概要
模型合并要把多个独立微调的专家合成一个多任务模型,但此前的预合并正则化方法需要访问其他任务的数据,违背了合并的独立性前提。该工作用谱覆盖与谱泄漏两个量刻画通用代理分布与目标任务分布的关系,并给出参数干扰的统一上界:谱参数越小,干扰越低。在CLIP视觉基准上,以ImageNet为代理的三种正则化实例化都优于现有预合并基线,并接近需要同伴任务数据的oracle;在语言模型上,与TRACE无关的WikiText-103代理同样提升了合并表现。
深度剖析
模型合并的预合并正则化可以不再依赖待合并的其他任务数据,改用一份与任务无关的通用代理分布来约束微调。 此前的预合并方法,包括在同伴任务样本上做Jacobian惩罚、用同伴任务统计量估计KFAC曲率、以及用其他任务样本约束LoRA子空间,都必须显式访问其他任务的数据,这与模型合并假定的专家独立训练相冲突。 在CLIP ViT-B/32的八个视觉任务上,任务平均的谱参数与合并精度呈强负相关,Pearson相关系数为负;排除Oracle Union与fixed-noise两个极端代理后相关性仍为负。
代理分布与目标任务的关系可以用两个谱量概括:谱覆盖衡量代理的梯度空间能张成多少目标任务的梯度方向,谱泄漏衡量落在代理未覆盖方向上的梯度能量。 此前的经验观察只说明在ImageNet上一次性估计的KFAC因子能保留大部分收益,但没有说明代理在什么条件下足够。 由这两个量得到的统一干扰上界表明,谱参数越小,参数干扰经更好的谱对齐而越低;该上界在NTK线性化下推导,并在线性化微调的(J)实例化上以八个代理的实测相关性得到验证。
同一个代理正则项有三种实现方式:用Jacobian-vector乘积精确求值的Jacobian惩罚、用冻结Fisher信息矩阵近似的曲率惩罚、以及直接约束模型在代理上输出漂移的惩罚。 前两种分别对应已有的Jacobian正则化与TAK式KFAC正则化,第三种此前没有在模型合并文献中被系统研究为正则项。 三者在NTK线性化下被证明给出同一解;离开线性化后,以(J)为参照,(F)的差距由冻结曲率误差控制、与代理无关,(O)的差距随代理谱质量放大,这一层级在七个代理的标准与线性化精度对照中被逐项匹配。
在标准非线性微调下,输出漂移实例化(O)以较低的单步开销取得接近Jacobian参照的合并精度。 Jacobian实例化每步需要前向JVP加反向VJP扫描,峰值显存与训练时间都高于普通微调;Fisher实例化需要常驻的KFAC因子。 ViT-B/32标准微调下,(O)每步139.3毫秒、稳态峰值3371.4 MiB,仅比无正则基线慢16%、重43%;(J)为271.3毫秒与4140.6 MiB,(F)为237.8毫秒与7513.9 MiB,另需18.45秒准备。
启示与展望
已验证的范围是CLIP ViT-B/32、ViT-B/16、ViT-L/14上的八个视觉分类任务,以及Llama-3.2-1B/3B在TRACE七任务上的全参数微调和Llama-3-8B在GLUE八任务上的LoRA微调;代理取ImageNet、COCO、若干Stable Diffusion生成集、固定噪声与WikiText-103。理论部分在NTK线性化下推导干扰上界,非线性情形给出的是各实例化相对Jacobian参照的差距包络。
理论上的等价性只在NTK线性化下成立,实际微调是非线性的,三种实例化因此分离,差距分析依赖局部正则性假设与有界残差等条件。代理无关的(F)结论要求同一个冻结矩阵在两种模式下使用;若曲率沿轨迹重算,(F)就变成类似(O)的轨迹正则项,该常数界不再由现有定理给出。语言模型实验未评估(F),因为其冻结曲率在LLM规模上难以常驻。
