跳到主要内容
检索

Seng Pei Liew

1 篇关联报道

订阅更新
  1. arXiv

    视觉语言融合有了统一缩放律:固定数据预算下,早融合保文本、晚融合保视觉,模型越大早融合越划算

    视觉语言模型长期在“先训语言再混入图像”的晚融合与“从第一步就混模态”的早融合之间凭经验取舍。研究把验证损失拆成基础学习轨迹与模态竞争带来的分布偏移两项,得到一条可同时描述两种融合时机的缩放律,并在混合比例、训练步数和模型规模上预测损失。在固定数据预算下,早融合保住文本性能、晚融合偏向视觉性能,而这一偏移幅度随模型变大而衰减。

已读完全部报道