跳到主要内容
检索

# 参数高效微调

12 篇关联报道

订阅更新
  1. arXiv

    只标300栋受损建筑:PUMA让地理基础模型在灾后影像上圈出受损范围

    灾后建筑受损制图长期受标注限制:参数高效微调能适配地理基础模型,却仍默认有大规模可靠标签。PUMA把任务改写为正样本—未标注学习,只用少量已确认受损建筑和大量未标注建筑微调模型,并让非对比式表示细化与潜状态标签消歧互相加强。在xBD的海啸、飓风、龙卷风、野火四个事件上,PUMA在海啸、飓风、野火取得所比较方法中最高的总体精度与F1,海啸与飓风的F1分别比最强对比方法高5.98和4.47个百分点;龙卷风事件上总体精度95.72%、F1为92.88%,与表现最好的NcPU相当。

  2. 低秩适配只学一个矩阵:SingLoRA在LLaMA-7B上以六成参数预算超过LoRA与LoRA+

    低秩适配(LoRA)把权重更新拆成两个小矩阵相乘,但两者范数在训练中常相差悬殊,造成梯度流不平衡和训练不稳定。SingLoRA把更新改写为单个低秩矩阵乘自身转置,从构造上消除矩阵间尺度冲突,并把可训练参数减少约一半。在MNLI上微调LLaMA-7B时,SingLoRA取得91.3%准确率,高于LoRA的89.1%和LoRA+的90.2%,而只用了它们60%的参数预算。

  3. arXiv

    天气降尺度不再只调主干:PROLA把固定秩预算分给主方向与正交补,Z500误差降到50.58

    把粗分辨率历史场直接映射为未来高分辨率天气轨迹,需要同时做预报、空间降尺度和时间加密,而现有低秩微调在固定秩预算下没有区分“沿用预训练主方向”和“修正主方向之外”两种需求。PROLA把秩预算拆成主分支与正交分支,并用梯度信号缩放秩一优化器更新;在WeatherBench 2上以3.92M可训练参数适配Aurora,3小时Z500的RMSE为50.58,低于AdaLoRA的53.40。

  4. arXiv

    SEEM分割细血管总差一口气:只加0.47M参数的读出基适配器,3mm大血管Dice达91.93%

    交互式分割模型SEEM在OCTA视网膜血管上直接使用效果不佳,冻结编码器时大血管Dice只有75.83%,且其候选掩膜全部由四分之一分辨率的同一组特征图读出,难以表达1至3像素宽的细血管。读出基适配器RBA在读出端额外生成32张半分辨率基图,每个候选通过零初始化投影自行取用,只增加0.47M可训练参数。在OCTA-500 3 mm大血管上,三个随机种子平均Dice为91.93%、IoU为85.16%,比Conv-LoRA高1.72和2.90个百分点,增益集中在细血管与血管边缘,FAZ上无显著差异。

  5. arXiv

    SVC 以奇异向量通道选择在四个 LLM 家族上同时提升持续学习性能与预训练能力保留

    该工作把每个奇异值对应的左右奇异向量对定义为一个“奇异向量通道”,用当前任务梯度估计其适配收益、用无标注通用语料上的激活二阶矩估计其遗忘代价,再经膝点代价筛选、Pareto 前沿过滤与 Otsu 阈值自动选出可训练通道;在四个 LLM 家族、八个 TRACE 任务与三种任务顺序下,SVC 在保持预训练通用能力的同时取得较强的下游持续学习表现。

  6. arXiv

    AutoAdapt 用自动潜在领域发现训练独立 LoRA 适配器,在 14 个基准上与全领域单适配器持平并支持免重训扩展

    AutoAdapt 提出一种模块化指令微调框架:先用 K-means、BERTopic 与 MNLI 三种方法自动发现潜在领域,再为每个领域独立并行训练一个 LoRA 适配器,并在推理时用基于质心的无参数路由;在 14 个领域基准与 GPT-4o 成对评判中,其表现与在全部领域上训练的单 LoRA 适配器相当,且新增或更新领域只需训练单个适配器而无需全模型重训。

  7. arXiv

    GPart 用稀疏等距分区矩阵把 d 维可训练向量直接映射到全权重空间,在超低参数预算下匹配或超过现有 PEFT 方法

    该工作提出 GPart(Global Partition fine-tuning),一种高参数效率的微调方法,它通过稀疏、等距的分区矩阵将 d 维可训练向量直接映射到完整权重空间,保留固定的全局参数共享先验并去除 LoRA 类方法额外的低秩重构,从而获得单一主超参数 d、精确的端到端等距性以及仅由可训练向量和随机种子组成的最小检查点表示,并在自然语言理解、计算机视觉和数学推理基准上于超低参数预算下匹配或超过现有 PEFT 方法。

  8. arXiv

    SEA-PEFT 在 1/5/10-shot 3D 医学分割中把平均 Dice 提高 2.4–2.8 分,且只训练不到 1% 参数

    作者提出 SEA-PEFT,把适配器配置当作微调过程中的在线分配问题,用“搜索—审计—分配”循环训练当前激活的适配器、通过临时关闭某个适配器来估计其 Dice 效用、再在参数预算下用贪心背包重新选择激活集合,并以 EMA+IQR 平滑和有限状态机稳定该循环;在 TotalSegmentator 与 FLARE’22 上,1/5/10-shot 设置下平均 Dice 比最强的固定拓扑 PEFT 基线高 2.4–2.8 分,同时训练参数少于 1%。

  9. arXiv

    VA-Adapter 让超声基础模型学会心脏探头导航,训练参数减少约33倍且误差低于强基线

    该工作提出 Vision-Action Adapter(VA-Adapter),将其插入超声基础模型(EchoCLIP、USFM、BiomedCLIP)冻结的图像编码器深层,通过编码历史“图像-动作”序列在线注入个体三维心脏结构理解能力,在178名成人、356条专家扫描轨迹、131万图像-动作对的数据集上,以约2.61M–3.97M可训练参数取得优于强探头导航基线的平移与旋转平均绝对误差。

  10. 清华团队综述参数高效微调:LoRA在GPT-3上仅训练4.7M参数即省99.97%并可略优于全量微调

    这篇由清华大学知识工程组撰写的综述系统梳理了面向基础模型(FM)的参数高效微调(PEFT)技术,将方法归纳为选择性、加性、提示、重参数化和混合五大类,并按大语言模型、视觉基础模型、视觉语言模型、视觉内容生成模型和多模态基础模型五类模型结构分别综述其应用,同时基于Semantic Scholar引用量给出三条趋势判断(PEFT整体快速增长;LLM与VFM主导;MFM相对欠探索),并指出可靠性、可解释性和统一基准等未来方向。