跳到主要内容
返回时间线
arXiv来源发表:

Iris-Z 把深度并入图像生成:同一套权重在 Marigold 基准上平均 AbsRel 2.92,低于 MoGe-3 的 3.12

核心概要

Iris-Z 是一个通用图像生成器,把图像与深度编码进同一条 token 序列一起去噪,用一套权重同时完成生成图像、从照片估计深度和按给定深度画图。此前单目几何精度由 MoGe-3 这类专用 ViT 保持领先,把生成器改造成深度估计器的 Marigold 系列也落后于它。Iris-Z-big 在 Marigold 的基准集上平均 AbsRel 为 2.92,低于 MoGe-3 的 3.12,同时保留原有生成能力;代价是每张图约 15 秒,而 MoGe-3 约 0.41 秒。

Source-provided article image: Iris-Z: Scaling One Generative Model Past Specialist Geometry Models
arXiv

深度剖析

一个通用图像生成器现在能在单目深度基准上超过专用几何模型,而且不需要额外的深度头或第二个网络。 此前这条路线上的领先者是任务专用的 ViT 模型 MoGe-3,把图像生成器改造成深度估计器的 Marigold 系列虽然强,但在 MoGe-3 的留出测试集上仍落后于 MoGe-3 和 MoGe-2。 在 Marigold 的基准集上,Iris-Z-big 的平均 AbsRel 为 2.92,MoGe-3 为 3.12,Marigold V2 为 4.10;在 MoGe-3 自己的基准集上,Iris-Z-big 平均为 3.56,MoGe-3 为 3.70。

图像和深度被当作同一条序列里的两组 token 一起去噪,模型在每一步都能让两者互相约束。 做法是从预训练的文本到图像扩散 Transformer 出发做全量微调,新增参数只有一组学习得到的模态嵌入,自编码器和文本编码器保持冻结。 深度按每张图归一化的对数射线距离存成图像,由同一个自编码器编码;训练混合联合、给定图像、给定深度和仅图像等任务,另加一项在像素空间比较解码深度的损失,两个模型各在约 360 万到 380 万帧 RGB-D 数据上训练。

启示与展望

评估覆盖 Marigold 的 NYUv2、KITTI、ETH3D、ScanNet、DIODE 与 MoGe-3 的 NYUv2、KITTI、ETH3D、iBims-1、Sintel、DIODE、HAMMER,Spring 与 Synth4K 两个高分辨率集因超出训练分辨率而未纳入。深度是相对的,预测在 log 空间内只确定到尺度与平移,不给出米制距离,也不预测相机。

深度仍是相对的,既不提供米制距离也不提供相机,而 MoGe-3 两者都预测。生成图像向训练数据的外观漂移,Iris-Z-big 的人类偏好分从 26.71 降到 24.30,CLIP 从 27.85 降到 27.42,照片感上升。评估一次只处理一张图,视频帧或跨视角的一致性没有测量。