跳到主要内容
返回时间线
arXiv来源发表:

统一多模态模型不会自己编排图文:UniWeaver加一层规划与视觉核验,BAGEL总分从27.7升到58.9

核心概要

统一多模态模型能理解也能生成图像,却通常不能原生协调图文交替输出,把粗略的用户请求变成连贯的多模态内容还需要显式规划。UniWeaver 是一个与模型无关的结构化外层框架,先把请求拆成内容单元、分配文字与图像各自承担的信息,再生成图像并按可观察清单核验、只重做未通过的单元。在自建的 120 题 UniWeaver-Bench 上,BAGEL、OmniGen2、TokenFlow 三个骨干的总分分别从 27.7、27.9、39.2 升到 58.9、52.7、60.5,且不更新模型参数。

Source-provided article image: UniWeaver: Harnessing Unified Multimodal Models for Interleaved Text-Image Generation
arXiv

深度剖析

图文交替输出不再完全依赖统一多模态模型的原生能力,而是由一层可插拔的外层框架负责规划、生成与视觉核验。 此前的做法是最小化的逐步执行流程:按用户请求和前面步骤依次生成一对对图文,没有显式规划,也没有视觉核验。 在 UniWeaver-Bench 上,同一批骨干接入该框架后总分明显提高:BAGEL 从 27.7 到 58.9,OmniGen2 从 27.9 到 52.7,TokenFlow 从 39.2 到 60.5,且不更新模型参数。

框架先把一句粗略请求拆成若干内容单元,并决定哪些信息交给文字、哪些交给图像。 规划分四步:先确定标题、任务终点和每个单元的视觉主体与内容目标,再分别写出面向读者的正文和图像生成指令并共享一种视觉风格,随后按需挑选可复用的参考图并只路由到相关单元,最后为每个单元列出可直接从图像判断的检查项。 生成后逐项核验图像,未通过的单元把反馈并入原指令单独重做,最多追加两次尝试,通过的单元保持不变;以 BAGEL 为骨干时只对理解解码器做 LoRA 微调、冻结图像生成专家,在 UniWeaver-10K 的 1 万条执行轨迹上训练后总分达到 87.1。

启示与展望

评测限定在 UniWeaver-Bench 的 120 个留出任务上,覆盖 20 个任务族、4 个大类,每族 6 题,难度为 40 易、40 中、40 难,任务只给自然语言目标;框架本身在 7 个统一多模态骨干上验证,监督微调只在 BAGEL 上完成。

作者指出,输出质量仍受底层统一多模态模型能力限制,生成的文字与图像未必达到要求苛刻的专业级标准;当前研究只覆盖一组已定义的图文交替任务,更广的任务场景与应用设置尚待探索,框架也不单独保证生成内容的事实准确性、公平性或适当性。