Jeveration让决策模型一次前向出图:512像素单张78毫秒,比Janus-Pro-7B快122倍
核心概要
图像生成长期依赖逐词元自回归或迭代去噪,单张图要多次串行调用模型。Jeveration把整张图当作一次并行类型化决策:冻结的Qwen3.5-4B视觉语言模型只加LoRA适配器和输出头,所有码位共享一个随机状态以保持全局一致,先学离散图像码分布再用它指导单次生成。在单块H200上,它用一次前向在78毫秒内生成512像素图像,GenEval为0.74,比Janus-Pro-7B快122倍,同一检查点还覆盖图生图与稠密预测。
深度剖析
图像生成多了一条不靠串行采样的路线:整幅图在一次前向中作为一组并行类型化决策返回,文本提示或源图像都可作为条件。 自回归模型逐词元生成、扩散模型迭代去噪,两者通常都要对单张图做多次串行模型评估,推理延迟随之上升。 在单块H200、批大小为1的条件下,Jeveration生成512像素图像端到端耗时77.8毫秒,GenEval为0.74,比表中Janus-Pro-7B快122倍。
并行决策要成为一张连贯的图,需要所有码位服从同一个随机来源,否则各位置可能落在互不相容的图像实现上。 直接让模型在每个码位独立并行地选一个码本条目,无法刻画码与码之间的依赖,生成区域可能拼不到一起。 去掉决策训练时,第一阶段掩码模型单次生成只达到0.32 GenEval;把随机状态换成固定状态,HPSv2.1从28.27降到26.63,GenEval从0.73降到0.70。
同一套共享适配器与任务专用输出头让一个检查点同时完成文生图、图生图和稠密预测,每项任务各一次前向。 此前统一多模态模型要么逐词元自回归、要么迭代去噪,稠密预测通常另设模型,单张图仍需多步串行计算。 在NYUv2上分割mIoU为67.7,与同骨干的稠密专用模型67.8和67.3相当;图生图在留出样本上HED边缘F1为0.880、深度0.802、上色0.937。
启示与展望
已展示的范围是单块H200、批大小1、512像素输出下的文生图、图生图与NYUv2稠密预测,全部结果来自同一个Jeveration检查点;材料未提出下一步实验计划。
表面法线精度落后于稠密专用模型,材料推测原因是细粒度局部几何对跨任务共享容量最敏感;图生图的结构保真度在每任务341个留出样本上测得,风格PSNR在223个留出样本上测得。
