跨视角注意力不再随视图增长:TTB把它烘焙进固定大小MLP,密集视图下渲染稳在23 FPS
仅解码器视角合成模型把上下文视图缓存成随视图数线性增长的KV缓存,密集视图下渲染速度变得不实用;TTB改为在重建阶段把跨视角注意力的输出烘焙进固定大小的快速权重MLP,渲染时只查这份状态。在DL3DV的16、32、64视图960p设置上,TTB以恒定23 FPS渲染,画质接近DVSM,并明显高于同样恒定复杂度的LaCT。
仅解码器视角合成模型把上下文视图缓存成随视图数线性增长的KV缓存,密集视图下渲染速度变得不实用;TTB改为在重建阶段把跨视角注意力的输出烘焙进固定大小的快速权重MLP,渲染时只查这份状态。在DL3DV的16、32、64视图960p设置上,TTB以恒定23 FPS渲染,画质接近DVSM,并明显高于同样恒定复杂度的LaCT。
Atlas 是一个自回归世界模型,此前生成一帧帧画面需要等待数十秒甚至数分钟,用户只能谨慎地规划相机路径。现在发布的 Frameboy 研究预览把经过高度优化的 Atlas 变体部署在云端 GPU 上,以最高 15 fps 向浏览器流式传输画面,用户拖动相机时视图连续更新。该演示既可从单张图像或文本描述生成场景,也保留并改进了从多视角图像做新视角合成的能力,但必须运行在云端高性能 GPU 服务器上,成本高于本地渲染。
Atlas 此前是逐帧自回归生成的世界模型,用户要等数十秒甚至数分钟才能看到一段视频,只能谨慎地规划相机路径。新发布的研究预览 Frameboy 把经过高度优化的 Atlas 变体放在云端 GPU 上,以最高 15 fps 把画面流式传到浏览器,用户拖动相机时视图连续更新。同一实时能力也接入网页应用 Viewfinder,用户可先逐帧搭建自己的场景,再用 Frameboy 叠加层实时探索。
动态世界建模中,同一批观测要为不同时刻和视角的多次生成提供条件,此前每次请求都要把重建场景渲染成RGB再重新编码。4LC把多个视觉编码器提取的静态与动态内容表示绑定到共享的几何与运动上,做成可按任意时刻和视角直接读取的4D潜缓存,省去逐请求的渲染与重编码。在相同生成设置下,条件获取占端到端生成时间的比例从NeoVerse的14.9%降到0.25%,单个4LC-Video模型无需任务特定微调即可覆盖相机控制、时间控制、新视角合成、场景重访和长期生成五类任务。
D3WM把下一帧预测拆成确定部分和不确定部分,用学习到的不确定度图引导扩散模型只生成遮挡和动态纹理区域,在机器人操作与相机运动两类动作上超过对照世界模型。
作者提出 OX-NeRF,将跨场景卷积编码器与每个场景独立的多分辨率哈希网格融合后送入 MLP,以自监督方式联合优化,在平行束与锥束 X 射线数据集上,于四至十个投影的超稀疏条件下取得比现有自监督辐射场方法更高的三维重建精度。
RDGSplat 提出一种双次评估框架:在冻结的 3D 基础模型上,通过复制预训练解码器并在纯光度监督下优化,同时用目标位姿条件适配器改写解码器读取的表示,从而解码出一套专用于渲染的几何,而模型的度量预测保持不变。在 RE10K、ACID、DL3DV 和 DTU 四个基准上,该方法在三个前馈骨干上均提升新视角合成质量,其中 WM2.0 在 RE10K 上从 20.918 提升到 24.266 dB,仅新增 205.5 M 可训练参数,且深度与位姿预测逐位一致。
MoonGS 是一个面向月面场景的前馈 3D 高斯泼溅框架:仅输入两张图像,单次前向即预测像素对齐的高斯原语,无需逐场景优化;它用冻结的视觉基础模型(DUSt3R,亦可换用 VGGT)提取鲁棒深度特征,融合语义先验并以语义排序损失正则弱纹理背景深度,再用熵引导的启发式重采样补充稀疏观测。在 LuSNAR 与自建弱纹理 MoonBlender 数据集上,其 PSNR、SSIM、LPIPS 均优于前馈 NeRF/3DGS 基线,推理保持亚秒级。
作者提出SNAP,一个自监督编码器-解码器Transformer:编码器在无位姿条件下用全跨视角自注意力聚合冻结DINOv3 patch特征,解码器用PRoPE位姿条件化并施加BlockNN掩码把目标视角自注意力限制为逐点残差MLP,训练目标是对齐冻结DINOv3特征的潜空间重建并加入一阶空间有限差分惩罚;在RealEstate10K、DL3DV、Co3Dv2约11.7万序列上训练后,冻结编码器在点对应、视觉定位、相对位姿、相对深度与MimicGen机器人操作五项任务上匹配或超过自监督基线,并在相机偏移下比2D语义编码器退化更平缓。
该工作提出 Honeycomb 视频世界模型及其 HexMemory 记忆:用三张空间平面加三张时空平面的低秩分解把场景特征存进固定尺寸记忆,前馈写入器只处理新生成的分块、通过保维度的平面形变与置信度加权池化加学习式残差校正来融合新旧特征,读取器再从记忆中取回隐变量条件化后续生成;在 WorldScore 与 RealEstate10K 上报告了更好的生成质量与回访一致性,且特征存储在整个生成过程中保持恒定。