跳到主要内容
检索

# 视觉分词器

3 篇关联报道

订阅更新
  1. arXiv

    视觉也能用离散词表:dNaViT 用一套码本同时做理解、重建与生成

    dNaViT 把图像编码成与语言 token 同构的离散码,用一套共享词表同时支撑视觉理解、图像重建、生成与编辑。它建立在冻结的预训练视觉编码器之上,通过残差调制补入重建所需的细节,再用分组乘积量化在不拉长空间序列的前提下扩大离散容量。在 ImageNet-1K 上,64 组量化的 dNaViT-G64 在 1024 个空间位置达到 32.90 dB PSNR 与 0.91 SSIM;配 Qwen3-8B 的 dNaViT-8B 在 OCRBench 得 885 分。

  2. arXiv

    图像生成拆成两步:先学语义再渲染,3B模型用6600 H100小时到GenEval 0.86

    视觉生成被拆成两个阶段:自回归预训练负责获取视觉知识,扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中,自回归预训练加扩散渲染的路线在GenEval上达到65.5,高于像素扩散从零训练的61.2;语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后,约3B参数的文生图模型用约6600 H100 GPU小时训练,在GenEval上得0.86、DPG-Bench得87.78。

  3. arXiv

    DC-SAE 用语义加像素双分支把图像压缩到 32 倍,ImageNet 上 gFID 3.37、PSNR 29.79,并比 DC-AE 快 4.41 倍

    北京大学与新加坡科技设计大学提出 DC-SAE 解耦紧凑语义自编码器,用冻结语义编码器提供生成友好的紧凑潜空间、用可训练像素编码器保留低层细节,在 32 倍空间压缩下于 ImageNet 取得 29.79 PSNR 与 3.37 gFID,较 DC-AE 在 PSNR 上提升 13.5%、gFID 上提升 54.9%,并实现 4.41 倍加速,同时一个 B 参数 DiT 在 GenEval 得 0.84、DPG-Bench 得 86.007。

已读完全部报道