Hi3D v1.0 开源:以参考图把粗网格细化到 1536³ 稀疏提取网格
核心概要
Hi3D v1.0 于 2026 年 10 月 23 日开源,提供推理代码与八个模型文件,作用是把已有的粗三维网格在参考图条件下细化为高分辨率几何。它沿用 Sparc3D 的稀疏表示与细化架构,逐级采样稀疏潜变量、用自剪枝稀疏 VAE 解码并提取网格,报告称训练用了约两百万个精选三维资产,细化可达 1536³ 的有效稀疏提取网格。仓库只含推理,训练代码、评测框架与对比网格未包含,因此论文中的对比表无法仅凭该仓库复现。
深度剖析
三维重建流程里多了一个可单独调用的细化环节:输入一张同一物体的参考图和一张粗网格,输出几何更细的网格,纹理、材质与顶点颜色都不生成。 此前的做法是把粗生成与细化绑在一起;Hi3D v1.0 的细化脚本不依赖 Hunyuan,粗网格可以由用户自带或替换适配器。 仓库给出的对照是九种方法的局部几何比较图与四类物体的多视图比较图,Hi3D v1.0 在图中以青色标于最右列,比较对象是着色几何与表面法线渲染。
细化按分辨率分趟进行,每一趟把上一趟提取出的网格重新体素化,作为下一趟的稀疏支撑。 三趟分别对应 64³、128³、192³ 的名义结构网格与 512³、1024³、1536³ 的稀疏提取网格,512³ 只跑一趟,1024³ 跑两趟,1536³ 跑满三趟。 图像特征用于对由粗几何导出的坐标做稀疏流条件化,解码与网格提取之后重新体素化;这些标签描述的是名义稀疏坐标与提取网格,而不是稠密的 1536³ 潜变量张量或固定三角面数。
启示与展望
已演示的范围是单物体、批大小为 1 的几何细化:输入参考图与粗网格,输出经重新居中并归一化到单位最大半径的网格,世界坐标与绝对尺度不保留。1536³ 这一档只在 96 GB 的 NVIDIA H20 上验证过,更小显卡上的峰值显存与可行性尚未确定;仓库只提供推理代码,训练代码、评测框架、基准划分与对比网格均未包含。
粗网格中的严重结构错误可能保留下来,图像中看不到的几何只是合理补全而非精确重建。GPU 稀疏卷积与注意力并非逐位确定,种子不等于网格哈希,比较网格需在相同输入、模型文件、调度器与环境下做几何比较。复杂输入上自适应体素化可能使用更粗的支撑网格并发出警告,达不到目标分辨率的请求会直接报错而不是静默降级。
