跨视角注意力不再随视图增长:TTB把它烘焙进固定大小MLP,密集视图下渲染稳在23 FPS
仅解码器视角合成模型把上下文视图缓存成随视图数线性增长的KV缓存,密集视图下渲染速度变得不实用;TTB改为在重建阶段把跨视角注意力的输出烘焙进固定大小的快速权重MLP,渲染时只查这份状态。在DL3DV的16、32、64视图960p设置上,TTB以恒定23 FPS渲染,画质接近DVSM,并明显高于同样恒定复杂度的LaCT。
仅解码器视角合成模型把上下文视图缓存成随视图数线性增长的KV缓存,密集视图下渲染速度变得不实用;TTB改为在重建阶段把跨视角注意力的输出烘焙进固定大小的快速权重MLP,渲染时只查这份状态。在DL3DV的16、32、64视图960p设置上,TTB以恒定23 FPS渲染,画质接近DVSM,并明显高于同样恒定复杂度的LaCT。
已读完全部报道