海洋有了自己的基础模型DARWIN:只用一成叶绿素标注,就超过随机初始化模型的全量训练
核心概要
地球观测基础模型大多在陆地上训练,海洋数据稀疏、多模态且随时间非平稳,缺少标准化基准。DARWIN把掩码自编码器改造成适应海洋的形式,用26年哥白尼再分析资料和GEBCO水深数据预训练,在2022年叶绿素a预测的每个月都取得最低月度相对误差,年度均值13.4%,优于无编码器基线的14.5%和同架构随机初始化编码器的16.5%。在仅用10%监督训练数据时,预训练DARWIN的测试MAE已低于随机初始化模型用100%数据的结果。
深度剖析
海洋领域现在有了一个专门预训练的地理空间基础模型DARWIN,它把叶绿素a预测的年度平均相对误差压到13.4%,低于无编码器基线的14.5%和同架构随机初始化编码器的16.5%。 此前的地球观测基础模型主要在陆地上开发和评测,海洋方面缺少标准化基准,已有海洋水色模型把卫星影像当作静态快照,忽略时间动态,也没有纳入物理和生物地球化学变量。 在2022年独立测试年上,预训练DARWIN在全部12个月的月度相对误差都最低,随机初始化编码器最高,无编码器基线居中。
模型把掩码自编码器扩展到海洋数据,输入按像素带上缺失指示和陆地指示,并加入整月遮蔽与空间柱状遮蔽,让模型必须从季节连续性和周边海域推断被遮住的部分。 标准掩码自编码器只做随机遮蔽,重建容易靠邻近像素插值完成,学不到变量之间的依赖和时间动态。 预训练使用1998至2023年共312个月、47个变量的哥白尼L4再分析和GEBCO水深,样本为360×360公里、跨12个月时空片。
预训练权重在低标注条件下优势明显,用10%训练数据就超过随机初始化模型用100%数据的测试MAE,在0.1%(871个训练样本)时仍优于所有对比模型。 随机初始化编码器需要全量标注才能达到自身最好水平,而无编码器的深度基线在各数据比例下都落后于预训练DARWIN。 数据效率实验在嵌套的训练子集上重训预训练编码器、随机初始化编码器和最佳无编码器基线,验证集与测试集固定不变。
启示与展望
演示范围是全球海洋、8公里网格、月平均的叶绿素a稠密预测,训练与验证用1998至2021年数据,2022年整年作为独立测试集。预训练输入为哥白尼L4再分析与GEBCO水深的表层变量,未纳入次表层观测。作者提出下一步是把直接卫星观测和原位测量纳入预训练,并系统建设下游任务基准。
作者列出三点限定:8公里网格与月尺度限制了可分辨的现象,可能正是预训练中时间重建较弱的原因;MAE目标把容量花在像素级重建上,未必对应下游所需的抽象;下游验证只涉及一个表层变量。作者还指出,预训练依赖L4再分析产品,模型学到的是业务系统对海洋的估计而非传感器直接观测。
