跳到主要内容
返回时间线
arXiv来源发表:

3D生成训练与推理分辨率错位:RDT-3D把引导降到512、监督留在1536,F-Score升至0.6886

核心概要

高保真3D几何生成的两阶段流程里,训练时坐标引导与几何监督处在同一分辨率,推理时却要用粗坐标解码高分辨率几何,这一错位会让细薄结构被过度平滑。RDT-3D把旋转位置编码(RoPE)的空间引导固定在粗分辨率512、把几何监督留在1536,迫使细化网络从粗糙位置线索外推细节。在Toys4K上,采用RDT的模型Chamfer距离为0.0164、F-Score为0.6886,优于对称1536训练的基线(0.0184、0.6651)。

Source-provided article image: RDT-3D: Resolution-Decoupled Training for High-Fidelity 3D Geometry Generation
arXiv

深度剖析

高保真3D几何生成中,细化阶段训练与推理的空间分辨率不再对齐:训练时位置引导被压到粗网格,几何目标仍按高分辨率监督。 此前的粗到细流程在训练时让坐标引导与几何监督使用同一高分辨率,模型只见过精确位置先验;推理时位置线索却来自第一阶段粗网格,带有定位误差和缺失细节。 在Toys4K上,采用RDT的模型Chamfer距离为0.0164、F-Score为0.6886,对称1536分辨率训练的基线为0.0184和0.6651;给基线坐标加高斯噪声只得到0.0187和0.6659。

做法是把空间定位与几何重建在训练中拆开,让网络学会从不准的位置线索恢复精细表面。 旋转位置编码(RoPE,一种把位置信息编码进注意力的方式)的引导由粗分辨率点云构建,目标潜变量则从高分辨率水密表面编码,两者分辨率不同。 粗引导取自低分辨率真值网格而非上游模型生成的粗网格,以保持与监督目标的整体结构对齐;推理时先用Hunyuan3D-2.1或TRELLIS得到粗网格,再体素化采样构建RoPE引导并解码高分辨率网格。

启示与展望

展示范围是单张图像输入、以Hunyuan3D-2.1或TRELLIS产生粗网格、在Toys4K上以Chamfer距离和F-Score评估的细化流程;Dual3D-300K数据集按文中说明将开源。

粗引导分辨率512被描述为质量与计算效率之间的经验折中;直接使用上游模型生成的粗网格训练会带来过多噪声和结构偏离,因此改用低分辨率真值网格,这一替代与真实推理条件的差距未被量化。