跳到主要内容
检索

Lin Chen

1 篇关联报道

订阅更新
  1. arXiv

    腾讯混元等团队用11档MoE模型对比发现:去掉视觉编码器后多模态损失随算力下降更快,约1022 FLOPs处追平

    该工作在同一套11档稀疏MoE解码器阶梯(1.1B–44B总参数、71M–2.4B激活参数)、相同数据混合与优化设置下,分别拟合无编码器与有编码器多模态大模型的文本与多模态缩放律,发现去掉视觉编码器会把多模态目标的算力最优分配推向更大模型(模型分配指数由约0.464升至约0.570),文本目标几乎不变;无编码器模型在小规模下多模态损失更高,但其损失随算力下降更快,外推预测约在1022 FLOPs量级(点估计约3.2×1021 FLOPs)出现效率交叉,且解码器通过视觉token双向注意力、浅层提前改写视觉表示与专家路由集中化来接管视觉编码。

已读完全部报道