3D生成不再先压进隐空间:Direct3D-V3直接在SDF体素上扩散,网格细节更细
核心概要
Direct3D-V3把图像到3D生成的扩散过程从压缩隐空间搬回原始SDF体素网格,训练和采样都不再经过VAE。此前主流做法先用VAE把几何压成vecset、三平面或稀疏体素隐表示,再在隐空间扩散,编码阶段丢掉的细节无法由生成器找回。为让直接体素建模可行,模型用面片级与体素级两级DiT分工,并加入邻域SDF平滑约束、可微Marching Cubes渲染法向监督和相机参数预测;在102张真实、网络与AI生成图像上,其Uni3D与ULIP-2一致性得分高于所列开源方法,作者称网格局部细节更丰富。
深度剖析
图像到3D生成可以跳过VAE压缩,直接在原始SDF体素网格上训练和采样扩散模型,输出网格保留更细的局部几何。 此前的隐空间路线先把几何压成vecset、三平面或结构化稀疏体素等隐表示,再由扩散模型生成,编码阶段丢失的细节无法在下游恢复。 在102张来自真实照片、网络收集和AI生成的输入图像上,Direct3D-V3的Uni3D得分为0.4198、ULIP-2为0.4535,高于表中TRELLIS2的0.4172与0.4405,也高于Hunyuan3D 2.1、Direct3D-S2和UltraShape;加入约20万私有网格后分别为0.4224和0.4547。
直接预测SDF体素会带来不封闭表面,模型用邻域体素间的平滑约束把零等值面拉回连贯的流形。 隐空间方法里,VAE解码器在重建训练中隐式学到了网格表面附近的局部距离场结构,因此即使特征有噪声也常能解出封闭表面;去掉VAE后这一先验随之消失。 在留出的Objaverse-XL子集上,加入该约束后边界边数量从2462降到196,在更高一档分辨率上从25353降到898。
预测出的SDF网格可直接经Marching Cubes转成网格并渲染法向,与真值法向比较形成几何监督,无需先过VAE解码。 Hi3DGen也用过渲染法向监督,但必须先经VAE解码才能提取网格并渲染,显存开销限制了可用分辨率。 消融中,面片级DiT单独使用时Normal-FID为92.96,加入体素级DiT后降到75.80,再加入该约束与法向监督后为68.97。
同一套原生SDF输出还能用于生成式重建:在采样轨迹早期用输入图像估计的法向图校正可见表面,生成先验继续补全未见区域。 隐空间流程中每次测试时优化都要先把中间隐表示解码成几何,才能提取网格并渲染,高分辨率下迭代代价高。 在GSO上,Direct3D-V3的Chamfer Distance为0.0131、F1@0.99为0.6043,优于表中TRELLIS2的0.0147与0.5934;Volume IoU为0.3815,略低于TRELLIS2的0.3884。
启示与展望
演示范围是单物体图像到3D生成与单视图生成式重建:训练用Objaverse-XL的32万网格,评测用102张输入图像和GSO扫描物体,多视图输入只在Tanks and Temples上做了定性展示。读者对象是3D生成与扩散模型方向的研究者和工程师。
生成式重建依赖第一阶段给出的表面面片索引,若该支撑漏掉图像中可见结构或位置不一致,法向引导可能过度修改SDF并扭曲网格,细结构和模糊轮廓处尤其明显。当前模型只处理几何,纹理、材质等外观属性尚未纳入同一原生体素空间。
