跳到主要内容
检索

# 扩散Transformer

7 篇关联报道

订阅更新
  1. arXiv

    视频扩散不再依赖预训练自编码器:JVT用纯像素Transformer在UCF-101把FVD做到136.5

    JVT把视频扩散直接放回像素空间,用大块补丁的DiT式Transformer完成去噪,不借助预训练自编码器、级联阶段或U-Net式跳连。此前像素空间视频生成多依赖U形结构或级联流程,而潜空间DiT是主流。在UCF-101类别条件生成上,JVT的FVD为136.5,低于潜空间DiT基线Latte的477.97;在相机条件任务中,联合生成RGB与视差把RTA@5从仅RGB的72.4提高到79.5。

  2. arXiv

    EagleDepth用像素扩散解码器在4K分辨率下实现更快更细的单目深度估计

    EagleDepth把深度适配的潜空间扩散与像素空间生成结合:先用配对RGB-深度数据微调FLUX.2-klein-4B,在约512像素的低分辨率RGB上预测粗略深度潜码,再冻结该分支并微调预训练像素扩散解码器PiD,以原始高分辨率RGB为输入状态、以粗略深度潜码为条件,单步直接生成目标分辨率深度图,从而绕开VAE解码器;在五个常用深度数据集与Synth4K上取得有竞争力的整体精度,并在Synth4K全部五个子集的高频掩码指标与边界F1上领先,同时在4K推理中为所评估方法中最快。

  3. arXiv

    COSMI用单物体动作捕捉合成22.2万段多物体交互数据,并训练出可生成1至5个物体的扩散模型

    COSMI提出把单物体人-物交互片段按接触一致性切分、镜像平衡左右手、再用语言模型与几何检查筛选可同时发生的组合,从而把单物体捕捉合成为多物体交互数据,得到22.2万段序列、275小时、最多5个物体的数据集(约为最大多物体捕捉数据集的近三十倍);并训练一个文本驱动的扩散Transformer,物体槽位共享权重、物体相对驱动它的身体关节预测,在留出未见物体与五种未见组合的基准上,其文本对齐与接触精度优于HIMO及多物体改造版MDM、PriorMDM,在未见物体上优势最大。

  4. arXiv

    LiFT 让循环 DiT 在训练深度之外继续提升:L/2 与 XL/2 以更少参数和推理算力超过更大的稠密 DiT

    LiFT 把循环 DiT 的每次循环监督到一条从初始速度估计指向流匹配目标的直线路径上的对应点,使训练好的检查点可在推理时使用远超训练深度的循环数;在 ImageNet 类别条件生成上,L/2 与 XL/2 检查点通过把推理算力重新分配给循环,在更少参数与更少推理 FLOPs 下取得优于更大稠密 DiT 的 FID,而 B/2 规模上稠密模型仍更强。

  5. arXiv

    Dream4ACT 用固定视角动作视图统一多本体视频-动作建模,RoboTwin 2.0 平均成功率 88.98%

    Dream4ACT 把目标关节配置渲染成四个固定虚拟相机下的“动作视图”,用共享视频自编码器与扩散 Transformer 在掩码流匹配下联合建模物理相机观测与动作视图,并以免训练、受 URDF 约束的多视角匹配恢复可执行关节目标;在 RoboTwin 2.0 上取得 90.50%(干净)与 87.46%(随机化)成功率、平均 88.98%,TriWorldBench 总分 65.66,闭环评测覆盖五个仿真本体与四个真实平台。

  6. arXiv

    把粒子扩张推迟到Transformer后层并引入时间相关评分规则调度,DDM在ImageNet-256²上以单阶段从零训练实现4步4.48 FID、50步2.38 FID

    该工作针对分布扩散模型(DDM)扩展中的两个障碍——多粒子训练开销随粒子数增长、以及全局固定的评分规则超参数迫使采样预算只能取单一权衡——提出把粒子扩张推迟到Transformer后层、并引入受Biroli2024动力学区间启发的时间相关评分规则调度,配合DiT潜空间设置,使DDM训练在类条件ImageNet-256²上可行,用DiT-XL/2从零单阶段训练、无教师、无自蒸馏、无JVP即达到4步4.48 FID与50步2.38 FID,且同一配方可迁移到文生图。

  7. arXiv

    DRM 用扩散头替代标量奖励头:在五个基准上匹配或超越同数据同骨干基线,并让奖励分布随人类分歧变得更双峰

    该工作提出 DRM(Diffusion Reward Model),把奖励建模改写为对条件奖励分布的密度估计:在冻结的 LLM 编码器之上用一个轻量 Diffusion Transformer 从高斯噪声去噪出奖励向量,不预设任何参数族,同一架构同时支持多属性回归与成对偏好数据,在五个基准上匹配或超越同数据同骨干的标量头 ArmoRM 与分位数头 QRM,并在重复人类标注数据上显示出与人类分歧相关的多峰结构,同时通过不确定性拒绝、LCB 聚合与下游 RLHF 实验展示分布信息的实用价值。

已读完全部报道