视觉也能用离散词表:dNaViT 用一套码本同时做理解、重建与生成
核心概要
dNaViT 把图像编码成与语言 token 同构的离散码,用一套共享词表同时支撑视觉理解、图像重建、生成与编辑。它建立在冻结的预训练视觉编码器之上,通过残差调制补入重建所需的细节,再用分组乘积量化在不拉长空间序列的前提下扩大离散容量。在 ImageNet-1K 上,64 组量化的 dNaViT-G64 在 1024 个空间位置达到 32.90 dB PSNR 与 0.91 SSIM;配 Qwen3-8B 的 dNaViT-8B 在 OCRBench 得 885 分。
深度剖析
图像不再必须走连续特征这条路:一套离散码本可以同时承担语义理解与像素级重建,让视觉与语言落在同一个下一 token 预测框架里。 此前的多模态模型通常为理解保留连续语义特征、为生成保留面向重建的连续潜变量,两套表示与两套目标彼此分离;离散化则长期被视为会丢失细节的信息瓶颈。 在 ImageNet-1K 重建上,64 组量化的 dNaViT-G64 在 1024 个空间位置取得 32.90 dB PSNR 与 0.91 SSIM,同一设置下 16 组量化的 dNaViT-G16 为 28.93 dB 与 0.81;在 TokBench 的 1024 分辨率下,dNaViT-G64 的文本识别准确率为 63.08%、归一化编辑相似度为 78.27%、人脸相似度为 0.67。
做法是在一个冻结的预训练视觉编码器上做轻量改造,让语义特征里带上重建所需的细节,再把这些特征压成离散码。 残差调制器 ResMod 融合编码器不同深度的中间特征,并学习一个逐位置的尺度与偏移校正,其残差更新零初始化,因此起点与原语义特征一致;分组乘积量化把通道切成若干组、每组配一个独立码本,从而在不增加空间 token 数的前提下扩大离散容量。 训练分三步推进:先在连续特征上预训练像素重建,再冻结编码器与 ResMod 做离散语义重建,最后联合优化两个分支,并用冻结的教师副本固定语义目标;分词器由 400M 参数的 Qwen3-VL ViT 与 100M 参数的 ResMod 组成,训练语料覆盖通用图像、文本密集文档与细粒度图像,分辨率逐步提升至 2K。
启示与展望
已展示的范围是图像重建、线性探测分类、多模态理解、文本到图像生成与指令编辑这几类任务上的评测,分词器在训练中始终冻结视觉编码器,图像分辨率最高到 2K。读者若是做多模态表示或统一生成模型的研究者,可据此判断离散词表能否作为共享接口;材料未提出下一步实验计划。
作者明确指出,dNaViT-G16 与 dNaViT-G64 的训练配置和时长不同,因此两者的差距不能单独归因于量化组数;小号文字仍然困难,与 FLUX.1 等更强重建模型之间仍有差距;离散与连续表示的对比属于模型级比较,训练数据、分辨率与评分协议可能不同。
