跳到主要内容
返回时间线
arXiv来源发表:

视觉语言融合有了统一缩放律:固定数据预算下,早融合保文本、晚融合保视觉,模型越大早融合越划算

核心概要

视觉语言模型长期在“先训语言再混入图像”的晚融合与“从第一步就混模态”的早融合之间凭经验取舍。研究把验证损失拆成基础学习轨迹与模态竞争带来的分布偏移两项,得到一条可同时描述两种融合时机的缩放律,并在混合比例、训练步数和模型规模上预测损失。在固定数据预算下,早融合保住文本性能、晚融合偏向视觉性能,而这一偏移幅度随模型变大而衰减。

Source-provided article image: Scaling Laws for Vision-Language Fusion
arXiv

深度剖析

视觉语言预训练的两种融合时机现在可以用同一条缩放律描述,验证损失在混合比例、训练步数和模型规模变化下都能被预测。 此前早融合与晚融合各自被单独建模,缺少统一表述,选择哪种范式主要靠经验,难以在给定算力或数据预算下系统判断。 在图像-文本交错数据与图像-描述数据上分别拟合,交错融合的拟合均方根误差为0.0022与0.0018,描述融合为0.0099与0.0017,留出验证的均方根误差为0.0031、0.0015、0.0084与0.0036。

验证损失被写成两项之和:一项是不同数据类型以不同速率推进的基础学习轨迹,另一项是模态之间竞争造成的加性分布偏移。 交错数据接近预训练所用的纯文本网页语料,偏移较小;描述数据由短替代文本构成,偏移显著,文本预训练对描述损失的改善很小。 拟合得到的跨模态交换率在交错融合中接近1,说明文本词元与交错词元近乎可互换;在描述融合中该值很小,学习主要靠描述词元推进。

固定文本与描述词元预算时,融合时机的取舍只由偏移项决定,最优解落在两端:晚融合使描述损失更低,早融合使文本损失更低。 偏移幅度随模型规模按幂律衰减,因此晚融合的视觉优势在大模型上变小,早融合对大模型更有吸引力。 在560亿词元总预算下扫描300M与1B模型的融合时机,早融合与晚融合的描述损失差距从0.159收窄到0.095,文本损失差距仅从2.904变为2.828。

启示与展望

结论建立在Gemma-3风格语言模型加SigLIP2编码器的视觉语言模型上,非模型规模研究主要使用300M模型,融合时机实验覆盖300M与1B两档、总预算560亿词元。作者明确把该表述定位为供实践者在自己的训练上刻画并拟合的框架,而非固定常数。

拟合参数依赖数据、分词等设计选择,可能无法直接迁移。表述排除了实践中不可行的极端描述比例,即会导致语言能力崩溃的区域,并把该处视为缩放律失效的边界。作者把扩展到更大模型和更广泛模态列为后续工作。