跳到主要内容
返回时间线
arXiv来源发表:

统一多模态模型把答案前的概念画了出来:不训练解码器,代词指代可视化率从2–11%升到86–94%

核心概要

统一多模态模型把理解与生成放在同一架构里,图像生成器能读到处理文本时形成的隐藏状态。V-lens 把选定词元的隐藏状态做中心化与逐坐标缩放后放进一句绘图请求,由模型自己的生成器画出图像,无需训练解码器。在 BAGEL、SenseNova-U1 和 HunyuanImage-3.0 上,用这些图像做纯视觉监督的透镜调优,把代词指代的可视化正确率从 2–11% 提升到 86–94%,并在 Show-o2 与 HunyuanImage-3.0 的受监督故事上改善了文本答案。

Source-provided article image: The Elephant in the Question: Unified Models Picture the Concepts Behind Their Answers
arXiv

深度剖析

统一多模态模型回答问题时,内部会先形成问题里没有写出的概念,再转向输出词;V-lens 让这些中间概念以图像形式直接可见,而不需要另训一个解码器。 此前把中间状态读成可解释内容主要走文本路线,例如把隐藏状态读成词表上的预测或自然语言描述;V-lens 改用模型自身的图像生成器作为读出通道。 在六个统一模型上,同一词元在不同上下文里给出不同图像,双义词测试中 BAGEL 为 12.5/20,Show-o2、SenseNova-U1、HunyuanImage-3.0 各为 15/20,均远高于标签互换估计的随机水平。

做法是把某一层某个词元的隐藏状态搬到插入层,再让它替换绘图请求里的 thing,由模型按平时的采样设置作画。 搬运时先减去源层的平均状态,再按插入层各坐标的离散程度缩放,并把结果放到插入层状态的通常半径上;这些统计量取自与测试无关的纯文本段落,因此不需要在图片上拟合。 在预先划定的验证集上,这种坐标缩放优于原样复制、最终归一化、雅可比映射等变体,并在新测试项上保持最好;去掉中心化或缩放中的任一项,两跳问题的恢复数都会下降。

V-lens 可微,因此可以用图像直接监督隐藏状态,这一过程称为透镜调优。 未训练时,BAGEL、SenseNova-U1、HunyuanImage-3.0 在代词指代测试上分别只有 0/20、4/20、0/20 对文本能同时画出所指对象。 在 120 对未见测试文本和三个训练种子上,透镜调优把成对成功率从 0.02 升到 0.86(BAGEL)、从 0.11 升到 0.94(SenseNova-U1)、从 0.06 升到 0.86(HunyuanImage-3.0)。

纯视觉监督还会改变文本回答:在 Show-o2 与 HunyuanImage-3.0 上,用正确状态图像训练后,受监督故事的两选项答案正确率上升。 Show-o2 未训练时正确回答 36.3% 的故事,用错误状态图像训练则停在 34.6%,说明提升并非来自任意图像训练。 用正确状态图像训练后,Show-o2 升到 49.6%、对应可视化正确率从 52.5% 升到 73.3%;HunyuanImage-3.0 从 40.0% 升到 50.8%,但其错误状态训练也升到 47.5%。

启示与展望

演示范围限于对象、颜色和可见状态这类生成器画得出来的内容,测试条目包括 16 个两跳问题、30 对描述、20 个双义词、20 对代词文本、16 对双状态条目、40 个状态情景和 28 个状态互换情景;每次读出都要生成一整张图,在本设置下耗时 9–110 秒。

画不出某个概念并不说明隐藏状态里没有该信息;未命名对象的恢复率本身不高,在 BAGEL 和 SenseNova-U1 上未显著高于随机;透镜调优用同一个透镜训练和评估,状态互换传递的是整个隐藏状态,无法分离出图像中可见内容的作用;通用能力检查只用一个训练种子,区间仍允许数个百分点损失。