跳到主要内容
返回时间线
arXiv来源发表:

SAR 基础模型不必从头预训练:SARVIA 用 600 步、约 2 GPU 小时适配现成多模态编码器

核心概要

合成孔径雷达(SAR)基础模型通常依赖大规模专用预训练,成本高昂。SARVIA 换了一个起点:直接复用现成多模态大模型(MLLM)的视觉编码器,用无标注 SAR 观测自动生成有可计算答案的视觉问答,只训练少量低秩适配器完成领域特化,再把编码器导出为独立骨干。默认 ViT-L 配置下,600 步适配、约 1.92 个 RTX PRO 6000 GPU 小时,在六个 SAR 检测与分割基准上均领先所比较的基础模型。

Source-provided article image: SARVIA: Fast-Adapting the Strong SAR Foundation Models That Are Already in Your MLLMs
arXiv

深度剖析

SAR 领域骨干的起点可以不是专用 SAR 预训练,而是现成多模态大模型的视觉编码器,再补一段很短的领域适配。 此前的路线是投入大规模 SAR 专用预训练来获得可迁移表示;在同一评测协议下,未经适配的 Qwen3.5-2B 与 Qwen3.5-4B 编码器在紧凑分割集上已分别达到 36.29 和 38.89 mIoU,高于 TerraMind 的 34.69 和 SARMAE 的 33.07。 适配后的 ViT-L 骨干在 RSAR、SARDet-100K、M4-SAR、OpenEarthMap-SAR、AIR-PolSAR-Seg-2.0 和 WHU-OPT-SAR 六个公开基准上均领先所比较方法,而领域训练成本比专用预训练低若干数量级。

适配过程不需要人工标注的图文问答语料,监督信号由无标注观测本身构造。 视觉指令预训练一类做法依赖已有的描述、视觉问答、定位与分类数据集,标注资源成为适配的核心约束;SARVIA 把问题与答案都从无标注观测、已知图像变换和原生雷达测量中生成。 任务池由 87 个任务变体组成,来自 TerraMesh、SARLO-80 与 KuroSiwo 三个数据源;通用图像任务考察裁剪对应与图块排序等空间关系,SAR 专用任务考察相对功率、异质性等原生测量以及 SAR 与光学影像的对应关系。

适配只在视觉编码器、多模态融合模块和语言模型中联合训练低秩适配器,基础权重保持冻结,结束后只导出视觉编码器。 由于答案可以写成文本,新任务只需一个题目生成器和可计算的答案,不必为每类任务另设预测头。 默认配置对 Qwen3.5-2B 的视觉编码器使用秩 16 的 LoRA,600 次更新、全局批大小 128,共 76,800 次问答抽样;按损失驱动的采样在固定数据预算内重新分配题目,在 600 步时累计移动了 10.55% 的期望抽样。

启示与展望

已展示的范围是合成孔径雷达的检测与分割:适配使用 TerraMesh、SARLO-80 与 KuroSiwo 的无标注观测,下游评测覆盖 RSAR、SARDet-100K、M4-SAR、OpenEarthMap-SAR、AIR-PolSAR-Seg-2.0 和 WHU-OPT-SAR 六个公开基准,编码器比较另用 OEM-SLC-Amplitude 开发集。作者提出的下一步是在固定适配预算下跨领域、跨后续多模态模型世代评估这套流程。

适配步数并非越多越好:秩 16 的训练延长到 1000 步会损失 1.18 mIoU,秩加倍会使最佳分数下降 0.58;从 600 步到 800 步,诊断问答准确率上升,而开发集 mIoU 从 39.70 降到 38.55。作者也指出,SAR 之外的迁移尚未测试,且需要可靠、可在视觉上作答的任务。