跳到主要内容
返回时间线
arXiv来源发表:

多参考图给3D贴图补上背面:RouTex把旋转位置编码改作参考路由,FID降到12.06

核心概要

单张参考图只能看到物体的一面,背面纹理只能靠先验猜,容易生成不存在的细节。RouTex在二维多视图扩散框架里把3D旋转位置编码改写成参考图与目标视图之间的显式对应,不增加参数,并用双粒度注意力兼顾局部纹理与跨视图一致。在475个资产的评测集上,它以四张正交视图为条件取得FID 12.06,低于TRELLIS的18.83和TRELLIS.2的12.93。

Source-provided article image: RouTex: Multi-reference 3D Texture Generation by Reprogramming Rotary Position Encoding
arXiv

深度剖析

多参考图条件被直接接进二维多视图扩散框架,参考图与目标视图的对应关系由位置编码承担,而不是靠额外的三维结构先验。 此前的多参考做法沿用TRELLIS的循环注入,每个去噪步只用一张参考图,只能恢复粗糙底色,文字和标志等细节严重失真;把循环注入直接搬进多视图扩散框架又会失败,因为该框架缺少三维结构先验,无法用交叉注意力把网格表面与参考图自动对齐。 在475个与训练数据不重叠的高质量3D资产上,所有方法贴同一批由Hunyuan3D-2.1重建并简化到5万面的网格,RouTex以四张正交视图为条件取得FID 12.06、KID 8.66、CLIP-I 0.9423、LPIPS 0.1519,TRELLIS为18.83、28.49、0.9149、0.1727,TRELLIS.2为12.93、4.53、0.9246、0.1656。

参考图与目标视图的对应关系完全由位置编码在离散方位区域内决定,因此只需要粗略的方位类别,不需要精确的相机标定。 位置路由把相机偏航角划成前、右、后、左四个标准方位区域,把每张参考图的空间坐标对齐到同区域第一个目标视图,区域0的参考图则放在画布中心,把正面外观广播给所有视图。 语义轴用分数偏移区分视图与参考区域,双流块把每个目标视图与它匹配的参考图隔离成独立序列做局部注意力,单流块在去重参考上做全局联合注意力;训练时参考图数量在1到4之间随机采样,并要求至少一张来自区域0。

启示与展望

评测限定在475个与训练数据不重叠的3D资产上,所有方法贴同一批由Hunyuan3D-2.1重建并简化到5万面的网格,渲染在统一环境光下进行,RouTex与多参考基线使用前、后、左、右四张条件图,单参考基线只用正视图。

消融显示去掉双粒度注意力后量化指标只轻微下降,但该组件仍被描述为阻止局部纹理伪影并带来推理加速;去掉位置路由或同时去掉两者则出现更明显的性能下降。