跳到主要内容
返回时间线
arXiv来源发表:

Open Vision Banana 公开生成式感知配方:零样本 Cityscapes 达 73.9 mIoU,高于 Vision Banana 的 69.9

核心概要

Open Vision Banana 公开了一套可复现流程,把开放权重的 FLUX.2-Klein 图像生成器改造成统一的多任务感知模型,只用公开数据训练,输出分割、深度和表面法向。零样本 9B 模型在 Cityscapes 上达到 73.9 mIoU,高于 Vision Banana 报告的 69.9;非零样本版本在指代与推理分割上与 Vision Banana 相差不到五点,实例分割仍落后较多。数据管线、训练代码和检查点一并发布。

Source-provided article image: Open Vision Banana: A Fully Open Recipe for Generative Visual Perception
arXiv

深度剖析

图像生成器可以被改造成一个统一的分割与几何感知模型,而不需要为每个任务单独加预测头。 此前的 Vision Banana 展示了同样的思路,但其基础模型、数据和代码均不公开,因此无法判断哪些设计选择支撑了结果。 从 4B 和 9B 的开放权重 FLUX.2-Klein 出发,用 210 万至 380 万公开数据训练对,零样本 9B 模型在 Cityscapes 上取得 73.9 mIoU,Vision Banana 报告值为 69.9。

模型把每个任务都写成一张 RGB 图像:给定输入图和指令,生成器画出彩色结果,再由确定性的读出程序转成预测。 分割任务用随机抽取的类别—颜色图例提示,深度用逐图归一化的逆深度,表面法向用相机坐标分量映射到三个颜色通道。 训练沿用基础生成器的整流流目标,几何标注中的无效区域用有效性掩码排除;非零样本模型在 16 块 GH200 上训练约 73 小时(4B),32 块上约 79 小时(9B)。

一种无需重训的测试时扩展方法——图例集成,把同一张图在多套类别—颜色图例下分别分割,再按像素多数投票融合。 单次生成常把正确区域涂成错误类别的颜色,投票主要修正这类颜色—类别绑定错误。 零样本 9B 模型在 Cityscapes 上最多提升 8.7 mIoU、在 COCO-Object 上最多提升 15.0 mIoU;Cityscapes 上单次 65.4 mIoU,约 10 至 15 次后饱和在 74 mIoU 附近。

启示与展望

已展示的范围是四个在公开数据上微调的 FLUX.2-Klein 模型(4B 与 9B,零样本与非零样本两种数据制度),覆盖语义、指代、推理、实例分割以及深度和表面法向。图像编辑能力大体保留,但文生图能力并非如此:感知微调降低了全部四个模型在 GenAI-Bench 上的 VQAScore。零样本指评估基准未进入训练,但任务本身在训练中出现过。

作者指出,开放基础模型的感知能力弱于 Nano Banana Pro 这类专有生成器,这是主要限制;非零样本模型在实例分割上仍落后 Vision Banana 与 SAM 3。图例集成的收益随类别数变化,Cityscapes 上十几次后饱和,COCO-Object 上更多轮仍在提升;投票一致率只是相对可靠度排序,不是校准过的正确概率。