跨视角注意力不再随视图增长:TTB把它烘焙进固定大小MLP,密集视图下渲染稳在23 FPS
核心概要
仅解码器视角合成模型把上下文视图缓存成随视图数线性增长的KV缓存,密集视图下渲染速度变得不实用;TTB改为在重建阶段把跨视角注意力的输出烘焙进固定大小的快速权重MLP,渲染时只查这份状态。在DL3DV的16、32、64视图960p设置上,TTB以恒定23 FPS渲染,画质接近DVSM,并明显高于同样恒定复杂度的LaCT。
深度剖析
视角合成模型渲染新视图时不再需要携带随上下文视图数增长的KV缓存,而是携带一份固定大小的MLP权重。 此前的DVSM把上下文视图预填进KV缓存,每个新视图查询时都要对缓存做线性复杂度的注意力,密集视图下渲染速度不实用;LaCT用测试时训练层替换跨视角注意力换来恒定复杂度,但画质明显下降。 在DL3DV的16、32、64个输入视图、960p设置上,TTB渲染保持恒定23 FPS,画质接近DVSM,并高于LaCT;DVSM的渲染帧率随视图数下降。
做法是让测试时训练的内循环去拟合跨视角注意力的输出,而不是取代注意力本身。 LaCT的快速权重MLP直接学习把查询映射到原始value token,TTB把学习目标换成跨视角注意力输出的token,因此MLP与注意力协作而非替代它。 消融把从LaCT式TTT到完整TTB的差距拆成上下文配对、改用MSE内循环损失、以及把线性投影目标换成跨视角注意力输出三项,逐项叠加后在保持TTT级渲染帧率的同时缩小了与DVSM的画质差距。
上下文视图被拆成一对token,使烘焙时的输入与渲染时的输入处于同一模态。 常规流程里,预填阶段的上下文token带图像内容,而渲染阶段的新视图token只有相机信息,这种模态错位给烘焙好的MLP增加了不必要的泛化负担。 每个上下文视图同时产生仅含相机信息的渲染token作为TTB输入、以及带图像内容与跨视角注意力信息的真值token作为映射目标,消融中这一配对单独带来画质提升。
启示与展望
演示范围是DL3DV密集视图、Re10K两视图以及MipNeRF360、Free、Hike三个域外数据集上的新视图重建;DL3DV与域外实验的模型从DVSM检查点初始化并在DL3DV上训练,Re10K两视图实验则从DVSM的Re10K检查点出发在Re10K上微调。方法做的是在上下文视图之间插值,不外推到未观测视点。
快速权重MLP容量固定,上下文视图数增大时画质会饱和;缓解这一点的局部分组路由是推理期启发式,按相机位姿做k-means分组,训练期学习分组留待后续工作。内循环中的跨视角注意力使重建时间随上下文视图数呈二次增长,对单次使用场景不利。
