跳到主要内容
返回时间线
arXiv来源发表:

像素本身就是推理媒介:纯像素生成模型从零训练,也能像语言模型一样逐步算题

核心概要

现有图像、视频与统一多模态生成器在画布上几乎答不对写在像素里的题,只有提示改写器或文本模块先给出答案时才会写对。为判断问题出在像素还是训练方式,研究者从零训练了一族不含任何文本通路的纯像素流匹配生成模型,参数从7.6M到458M,只以像素为输入输出,在画布上读题、写中间步骤并作答。这些模型表现出大语言模型的三个标志性行为:每步误差随规模按幂律下降,逐帧写中间步骤明显优于单帧直接作答,强化学习后训练进一步提升推理。

Source-provided article image: Pixel is All You Need
arXiv

深度剖析

图像编辑、视频生成和统一多模态模型的生成模块无法对画布上的文字做符号推理,它们写对答案几乎总是因为提示改写器或文本模块已用文本词元给出了答案。 此前的生成器能渲染大段清晰文字并遵循编辑指令,看上去已接近在像素上推理;在默认条件下,开放图像编辑模型FLUX.3-klein、Qwen-Image-2.1和LongCat-Image-Edit在全部任务上得分为0%,连答案已印在题面上的Copy任务也是0%。 Qwen-Image-2.1接入改写器后平均正确率升到86.0%,MiniMax-H3升到98.3%;但只从改写后的提示中删去答案、其余保持不变,所有被测生成器的成功率都降到接近0%。

去掉文本通路后,纯像素模型能直接在画布上读题、写中间步骤并写出答案,并复现语言模型的规模律、思维链和强化学习增益。 此前没有无文本词元的纯像素生成模型被系统研究过这些现象;直接作答在Word Problems上各规模都停在约1%附近。 文本任务上每步误差从7.6M参数的0.174降到458M参数的0.037,只用7.6M到130M拟合的幂律对留出的458M预测误差在2%以内;130M参数下逐帧推理在Compute Then Paint上解出98.1%、在Trace Then Sum上解出49.2%,而直接作答即使训练四倍长也只到31.1%和17.2%。

模型是直接作用于原始像素的流匹配Transformer,没有VAE、分词器和文本编码器,网络按JiT的做法预测干净图像并用速度损失训练。 逐帧推理把第t步画布映射到第t+1步画布,测试时从原始题面画布开始顺序生成,每一帧以原始像素直接回灌为下一步输入,画布因此是唯一的记忆。 训练覆盖Expressions、Multiplication、Word Problems、Factual Questions四个文本任务和Mazes、Sum Mazes、Curve Tracing、Trace Then Sum、Count Then Paint、Compute Then Paint六个跨模态任务,评测在训练中未见的留出题上进行。

强化学习后训练让模型从自身采样中发现更好的推理轨迹,而不只是模仿示范。 同等算力的监督微调收益有限,非最优示范的监督微调几乎没有提升。 130M参数下GRPO在Word Problems上把准确率从23.7%提到84.6%,同等算力的监督微调最高只到39.0%;RL在全部六个任务上超过最优示范监督微调,例如Trace Then Sum为43.7%对35.7%,Compute Then Paint为73.2%对61.0%。

启示与展望

结论建立在四个文本任务(Expressions、Multiplication、Word Problems、Factual Questions)与六个跨模态任务(Mazes、Sum Mazes、Curve Tracing、Trace Then Sum、Count Then Paint、Compute Then Paint)共十项任务上,模型为7.6M到458M参数的五档,评测题为训练中未见的留出题;对现有生成器的诊断覆盖可检查流水线的图像编辑、视频生成与统一多模态模型。

规模律的留出检验只在458M这一档上做,文本任务实测误差比预测低2%,Curve Tracing的联合模型实测比预测高8%;逐帧推理的优势要等模型大到能可靠执行单步才出现,Word Problems在7.6M时逐帧准确率仅3.7%。