跳到主要内容
返回时间线
arXiv来源发表:

PanoEvo把世界状态放进全景潜空间:镜头转开再转回,人物动作仍在继续

核心概要

视频世界模型在镜头转开时常常冻结未观察的场景,转回后物体消失或外观改变,因为视野之外的内容没有被持续表示。PanoEvo把世界状态放在全景视频扩散模型的潜空间里演化,每个时刻都包含所有观察方向,再用透视渲染器从这一状态生成清晰视图。在WRBench的23个公开评测模型中,PanoEvo取得最高总平均分0.753,最强基线InSpatio-World 14B为0.741;在STEVO-Bench上总分为364.7,ReMind为300.9。

Source-provided article image: Evolve in Panorama, Render in View: Panoramic World State Evolution for Video World Models
arXiv

深度剖析

镜头转开再转回时,场景不再停在最后一次被看到的样子,视野之外的人物和物体状态会继续推进。 此前的几何缓存、源视频重渲染和记忆机制主要保留已观察到的内容,很少密集表示并推进未观察且仍在变化的内容。 在WRBench上,PanoEvo的总平均分为0.753,高于最强基线InSpatio-World 14B的0.741,并在可见状态和两项再观察指标上取得最好成绩。

世界状态由一个全景视频扩散模型在潜空间中整体演化,再由一个透视视频扩散模型把请求的视角渲染出来。 全景视频扩散模型在每一时间步都包含所有观察方向,因此相机指向哪里都不影响场景整体推进;透视渲染器则负责把低分辨率全景投影补成清晰视图。 训练数据来自真实360度视频:约2万段粗筛片段用于图像条件全景补全,1400段经事件核验的片段用于物体级状态演化;渲染器在20526段原生分辨率片段上训练。

透视渲染器通过潜空间投影和视锥内受限的交叉注意力读取全景状态,弥补直接投影的模糊。 在典型分辨率下,一个视角只覆盖全景约256像素宽,需要放大三倍以上,直接投影会模糊并破坏物体结构。 与直接投影同一全景输出相比,渲染器把VBench成像质量从0.538提升到0.729,同时基本保留已演化的状态。

启示与展望

演示范围限于相机绕固定中心旋转的场景,训练与评测都基于真实360度视频构建的固定机位片段。

相机平移会带来视差和新出现的表面,单一中心的全景无法表示;融化、液面变化等局部物理过程在真实360度素材中稀少,在训练数据中覆盖不足。