跳到主要内容
检索

# 扩散Transformer

13 篇关联报道

订阅更新
  1. arXiv

    脑电重建图像不再只靠对齐:让图像教师监督去噪过程,THINGS-EEG七项指标全面超过同骨干基线

    脑电到图像重建长期靠把脑电对齐到预训练视觉嵌入,再以此条件驱动生成器。该工作用检索实验说明,对齐变好并不等于重建变好:检索指标最多提升77,高层重建指标增益有限,低层保真度没有一致改善。为此先训练一个以DINOv2特征为条件的图像教师,把固定的编码器特征转成去噪过程中的中间表示,再让脑电条件的学生生成器在去噪时对齐这些动态目标,推理时丢弃教师。在THINGS-EEG十个被试上,该方法在全部七项指标上优于同一Brain-HiVE嵌入、无表示对齐的SiT-XL/2基线。

  2. arXiv

    Iris-Z 把深度并入图像生成:同一套权重在 Marigold 基准上平均 AbsRel 2.92,低于 MoGe-3 的 3.12

    Iris-Z 是一个通用图像生成器,把图像与深度编码进同一条 token 序列一起去噪,用一套权重同时完成生成图像、从照片估计深度和按给定深度画图。此前单目几何精度由 MoGe-3 这类专用 ViT 保持领先,把生成器改造成深度估计器的 Marigold 系列也落后于它。Iris-Z-big 在 Marigold 的基准集上平均 AbsRel 为 2.92,低于 MoGe-3 的 3.12,同时保留原有生成能力;代价是每张图约 15 秒,而 MoGe-3 约 0.41 秒。

  3. arXiv

    音频扩散模型直接吃fMRI信号:跳过中间嵌入,重建声学与语义指标同时改善

    MAAS把预训练音频扩散Transformer的条件输入从文本嵌入换成按脑区划分的fMRI响应,不再先训练一个解码器去预测CLAP或YamNet等外部刺激表示。在7T fMRI数据上,它与两阶段fMRI到潜变量条件化等基线相比,在CLAP相似度、成对识别准确率和Mel-SSIM等声学与语义指标上均取得一致改善。该框架还借助以听觉皮层计算模型为基础的保真度指标,量化各听觉皮层区域对重建音频的贡献。

  4. arXiv

    扩散模型缓存不再只看探针波动:除以轨迹位移,同预算下LPIPS再降一截

    训练无关的扩散缓存把精确计算花在更该花的位置:用探针输出变化除以输入位移来在线判断风险,在FLUX.1-dev、Wan2.1与Open-Sora 1.2上以相同精确计算预算降低中位LPIPS。

  5. arXiv

    DiT特征为何弱于U-Net:长跳连接把扩散噪声直接旁路,中间层特征质量随之回升

    从零训练的对照实验显示,给DiT加上长跳连接后,中间层特征在语义对应、分割与深度任务上全面变好,即使把生成能力对齐到相同FID也仍然更好。

  6. arXiv

    文生图注意力不再只盯第一个词:扩散模型把注意力堆在模态边界和图像角落

    在FLUX.1、Z-Image与Infinity-2B三类文生图Transformer上,注意力汇的位置随架构而变:自回归模型把注意力压在首个全局token上,双向扩散模型则集中在模态边界、文本区域和图像角落。

  7. arXiv

    去掉条件编码器残差连接并融合多层特征,DDT-RFE 在更少编码器块下同时提升四类视觉理解任务与 ImageNet 生成 FID

    作者在解耦扩散 Transformer(DDT)的条件编码器中移除 Self-Attention 与 MLP 周围的残差连接,改用零初始化输出门与混合正交注意力初始化保证训练稳定,并把输入 patch 嵌入与各编码器块输出聚合为编码器输出;在 ImageNet-1k、分辨率、patch size 2、80 epoch、batch 1024 的设定下,DDT-RFE 在图像分类、语义分割、物体发现、语义对应四类视觉理解任务上整体优于 DDT,且编码器块数更少(L 尺度 12 对 20,XL 尺度 14 对 22),ImageNet 生成 FID 从 8.98 降至 7.68(L)和从 7.27 降至 6.81(XL)。

  8. arXiv

    FADE 在单个文生视频模型上同时擦除 16 个概念,将物体残留准确率从最强基线的 15.5% 降至 4.9%,VBench 平均仅差 0.9%

    该工作提出 FADE,一个面向文生视频扩散 Transformer 的多概念遗忘框架:先用联合闭式键/值编辑抑制全部目标概念,再为每个概念训练由帧索引与去噪时间步门控的帧感知低秩适配器以消除逐帧残留泄漏,并用基于相似度的软路由按提示组合适配器;在单个 Wan2.1-T2V-1.3B 上同时擦除 16 个概念(物体、艺术风格与裸露)时,物体基准残留准确率降至 4.9%(八个基线中最强者为 15.5%),VBench 平均与未编辑模型相差 0.9% 以内,且该排序在 VLM 评判与盲测人工研究中保持一致。

  9. arXiv

    PerF 让像素空间扩散 Transformer 按特征分工:ImageNet 256 上 FID 从 1.86 降到 1.63,参数量仅增约 3.6%

    该工作提出异构精炼(heterogeneous refinement),让像素空间扩散 Transformer 中不同特征组在网络深度上获得不同的精炼预算,从而自发形成“持久特征”(编码全局结构)与“活跃特征”(编码高频细节)的分工,并据此提出 Persistence Forcing(PerF)与 Persistence Guidance(PG),在 ImageNet 256 上将 JiT-B/L/H 的 FID 分别从 3.66、2.36、1.86 降至 2.81、1.91、1.63,在 ImageNet 512 上将 JiT-H/32 的 FID 从 1.94 降至 1.76。

  10. arXiv

    Adobe Research与KAIST提出FlowTool:把修图工具参数当作条件生成问题,参考指标最高降低L1 28.8%、L2 47.4%,推理延迟至少降50倍

    Adobe Research与KAIST的研究者提出FlowTool,用条件整流流(conditional rectified flow)直接建模图像与指令条件下的高质量修图工具参数分布,以视觉语言模型骨干加DiT参数生成器和工具存在性预测头替代自回归MLLM的推理与逐token数值生成,在MMArt-Bench、FlowTool-Eval、ArtEdit-Bench和MIT-Adobe5K上参考指标优于专用MLLM编辑智能体与专有MLLM,并在无参考评测中与专有模型相当,同时把推理延迟降低至少50倍、峰值显存降低近2倍。