跳到主要内容
返回时间线
openbiox Bizard来源发表:

OpenMOSS公开5B文生图模型MOSS-Image:权重与代码同步放出,ComfyUI当天原生支持

核心概要

OpenMOSS 公开了 5B 规模的文生图模型 MOSS-Image,Base 与 SFT 两版权重和代码一并放出。它把版面控制、图像内文字渲染和最长 4K token 的提示词列为主要能力,并给出 1024×1024、50 步单图约 3.65 GiB 的 PyTorch GPU 显存峰值。ComfyUI、SGLang 与 vLLM-Omni 在发布当天即提供支持,社区随后接出 LoRA 训练、蒸馏与 C++ 推理等衍生项目。

深度剖析

开源文生图多了一个 5B 规模的选择:MOSS-Image 以 Base 与 SFT 两版权重连同代码一起公开,可直接下载使用。 发布说明把 5B 骨干、权重与代码公开、易于微调列在同一组发布要点里,并同时给出 ComfyUI、SGLang 与 vLLM-Omni 的接入入口。 ComfyUI、SGLang 与 vLLM-Omni 在发布当天即提供支持,社区随后出现 LoRA 训练、8 步蒸馏与 C++ 推理引擎等衍生项目。

模型把版面当作结构化输入:用 JSON 描述画布、元素说明和边界框,就能指定文字与物体在画面中的位置。 普通文生图只接受一段提示词,位置由模型自行决定;这里每个元素的标签、说明、文字内容和边界框可以逐项写进提示词。 边界框采用以画布中心为原点的像素坐标,格式为 yxyx,在 1024×1024 画布上每个轴从 −512 到 +512,并要求坐标与输出尺寸一致。

在显存受限的机器上也能出图:低显存模式把 DiT 权重留在 CPU 内存,文本编码器与 VAE 权重按需从磁盘加载。 整模型常驻 GPU 的做法在显存不足时无法出图,分层加载把这一门槛降下来;顺序回退模式则以更慢的推理换取更低占用。 1024×1024、50 步单图的实测峰值为 PyTorch GPU 显存分配 3.65 GiB、保留 3.85 GiB,任务系统内存含文件缓存 14.00 GiB。

启示与展望

已展示的范围是两版公开权重、JSON 版面输入、最长 4K token 提示词,以及 1024×1024、50 步单图在低显存模式下的实测峰值;面向的是愿意自行部署或微调生图模型的开发者与研究者。

材料未给出与同类模型的画质或文字渲染准确率对比;顺序回退模式以更慢的推理换取更低占用,编译 DiT 在顺序与低显存两种模式下不可用。