跳到主要内容
返回时间线
arXiv来源发表:

3D潜表示不再靠加token硬撑:切块归一化让同一分词器在推理时放大细节

核心概要

潜3D表示受限于潜变量容量,难以刻画复杂物体的细节,而训练时扩大容量又受显存约束。split-and-scale把场景切成小块,将每块坐标归一化回原范围后交给同一个预训练分词器编码,使相同容量覆盖更小空间,从而在推理时提高细节。在重建任务上,它与同等总潜变量数的LiTo模型相当,并优于朴素增加推理token的做法;其自回归生成器也与现有基线具有竞争力。

Source-provided article image: Split-and-scale Latent 3D Representations
arXiv

深度剖析

3D潜表示可以在推理阶段扩大有效容量,而不必在训练时增加token数量。 此前扩大容量主要靠增加潜token,但计算随token数二次增长、显存线性增长,GPU显存最终限制可训练的潜变量规模;推理时直接增加token数带来的质量提升很快饱和,过度增加甚至会变差。 在重建实验中,split-and-scale在相同总潜变量数下与按该token数训练的LiTo模型相当,并在扩大token数时优于可比的LiTo模型;消融显示它持续优于对底层分词器的朴素推理时扩展。

做法是让同一个分词器在场景的各个子区域上分别运行,每个子区域仍使用训练时的查询数。 关键手段是把每个体素平移并缩放回原始场景范围再编码,解码时再逆变换;这利用了傅里叶变换的空间—频率对偶性,使每个体素呈现给编码器的内容频率范围与训练时一致。 消融中,不做归一化时LPIPS随细分明显变差,加入体素归一化后性能恢复;训练在粗细分上进行即可泛化到更细的推理细分,整个训练可在单张80GB GPU内完成。

启示与展望

演示范围是Objaverse-XL上以LiTo为基座的物体级重建与图像条件生成,训练在单张80GB GPU内完成;测试集为TRELLIS测试集中美学评分最高的200个对象,生成指标在2000个测试对象上计算。

各子区域独立编解码会在视角依赖强的区域产生接缝伪影,表现为体素边界处高光被截断;等大小体素划分不考虑内容复杂度;输出高斯数量随细分级别增长;自回归生成偶尔出现全局结构缺陷,遮挡区域可见轻微不对称或悬浮几何。