跳到主要内容
检索

# 深度估计

6 篇关联报道

订阅更新
  1. arXiv

    ElasticDino给DINO特征做弹性形变上采样:分割与深度任务精度领先,峰值内存0.71 GB

    视觉Transformer的自注意力带来二次复杂度,特征图分辨率被限制在patch级别,并留下位置编码伪影和边界渗色。ElasticDino是一个轻量适配器,利用伪影跨通道一致这一观察,用图像引导的弹性形变场在逐级上采样中同时校正所有通道,输出像素对齐的高分辨率特征。在DINOv2特征上,它在语义分割、开放词汇分割和深度估计的多项基准上精度领先,且平均耗时108.41 ms、峰值内存0.71 GB,低于所列对比方法。

  2. arXiv

    Iris-Z 把深度并入图像生成:同一套权重在 Marigold 基准上平均 AbsRel 2.92,低于 MoGe-3 的 3.12

    Iris-Z 是一个通用图像生成器,把图像与深度编码进同一条 token 序列一起去噪,用一套权重同时完成生成图像、从照片估计深度和按给定深度画图。此前单目几何精度由 MoGe-3 这类专用 ViT 保持领先,把生成器改造成深度估计器的 Marigold 系列也落后于它。Iris-Z-big 在 Marigold 的基准集上平均 AbsRel 为 2.92,低于 MoGe-3 的 3.12,同时保留原有生成能力;代价是每张图约 15 秒,而 MoGe-3 约 0.41 秒。

  3. arXiv

    手术视觉编码器不再从自然图像起步:InnerLogic-Surg 冻结骨干在20项手术任务上全部领先

    手术图像分析长期依赖自然图像预训练编码器,或在小规模标注数据上从零训练专用模型。InnerLogic-Surg 以 DINOv3 为起点,在来自11965段公开手术视频、约2900小时、覆盖15种以上术式的数百万帧上做持续自监督预训练,得到21M至300M参数的编码器家族。在冻结骨干、仅训练线性读出层的统一协议下,该家族在覆盖流程识别、器械与解剖识别、分割、检测和单目深度的20项任务上均取得最佳线性探针表现,其中 ViT-L 在18项领先,ViT-B 在 GraSP 步骤识别与单目深度上最佳。

  4. arXiv

    Iris-3B 从零预训练 3B 像素空间文生图模型,并在深度与复原任务上未发现像素先验优于潜空间先验

    作者从零预训练了 3B 参数的像素空间文生图 Transformer Iris-3B(256→512→1024 课程,采用 v-prediction 与 DINOv2 REPA),并把潜空间模型 FLUX.2 Klein base 4B 转换为像素空间;将两类像素骨干微调用于单目深度估计与图像复原后,未发现像素空间生成先验带来显著提升:深度上 Iris-3B 与潜空间 FLUX.2 Klein 持平、转换模型落后,DIV2K 复原上两个像素模型也未超过潜空间微调。

  5. arXiv

    EagleDepth用像素扩散解码器在4K分辨率下实现更快更细的单目深度估计

    EagleDepth把深度适配的潜空间扩散与像素空间生成结合:先用配对RGB-深度数据微调FLUX.2-klein-4B,在约512像素的低分辨率RGB上预测粗略深度潜码,再冻结该分支并微调预训练像素扩散解码器PiD,以原始高分辨率RGB为输入状态、以粗略深度潜码为条件,单步直接生成目标分辨率深度图,从而绕开VAE解码器;在五个常用深度数据集与Synth4K上取得有竞争力的整体精度,并在Synth4K全部五个子集的高频掩码指标与边界F1上领先,同时在4K推理中为所评估方法中最快。

  6. SurgDepth:面向手术场景理解的深度基础模型测试时自适应

    该工作提出 SurgDepth,一种无需任何标注手术数据的测试时自适应框架,通过立体光度一致性与翻转等变性两种自监督信号、选择性解码器自适应以及进度感知锚点正则化和低照度序列结构信任保护两项免调参可靠性机制,将自然图像预训练的深度基础模型适配到内窥镜手术场景;作者报告在立体图像对上 AbsRel 最多降低 63%、无立体时降低 42%,在五个跨域评测设置中改善四个,跨七种基础模型泛化,并在完整标准 Hamlyn 基准上取得所报告方法中最低的 AbsRel(0.128),所有结果均为中值缩放后的相对深度,20 步收敛(0.4 秒)。

已读完全部报道