视频世界模型探索动态场景有了新考卷:WanderBench 测八个模型,长片段里镜头控制和源事件同步一起丢失
核心概要
视频世界模型可以以一段真实录像为条件,沿新相机轨迹重看其中的动态场景,但此前缺少衡量生成结果是否忠于这段录像的评测。WanderBench 用 745 段单镜头源视频、键盘动作给出的相机路线和六个维度 24 项子指标来测这件事,八个模型中随片段变长,静态场景和画质基本保住,镜头控制与源动态却明显丢失,且没有模型能让重访地点保持一致。无需训练的 WanderLand 把每帧锚定到同一时刻的源画面,并在重访时用模型自己先前生成的静态内容补洞,在五个模型上多数维度有提升,源动态保真度最多提高 8.3 分。
深度剖析
视频世界模型的评测对象从单张图像或文本提示扩展到了一段真实录像:模型要在新的相机轨迹下重看录像里的场景和事件,而不只是生成看起来合理的画面。 此前的基准要么从单张图像或文本提示出发,要么主要看感知质量和相机跟随,不直接检验探索过程是否保住了主体身份、事件进程和重访同一地点时的场景一致性。 WanderBench 把 745 段单镜头源视频与键盘动作指定的相机路线配对,覆盖 3 至 25 秒的三个难度层级,用六个维度 24 项经人工校验的子指标打分,并把输出与同一时刻的源画面对照。
八个视频条件世界模型在长片段上表现出共同的失效方式:静态场景和视觉质量还在,镜头控制和源动态却掉了。 在简单层级上,帧数受限的 UniWorld-View 拿到最高的总体分,三个全长模型的总体分只相差 4.3 分;到困难层级,这一跨度扩大到 13.5 分,WorldForge 的镜头控制降到 10.4。 源世界保真度在每个层级都是得分最高的维度,而源动态保真度在困难层级降到 37.2;动态重访一致性是最弱维度,没有模型超过 68.6,全长模型即使在简单层级也停留在 50.0 到 54.5 之间。
WanderLand 不改动预训练视频世界模型的参数,只重建模型本来就会读取的相机和源渲染输入,让每一帧都对齐到同一时刻的源画面。 此前的条件方式以首帧相机或单帧参考为基准,长片段里生成事件会与录像脱节,重访地点则被重新绘制。 相机由模型自带的几何前端估计,源帧由模型自带的点云渲染器变换到该相机;重访时用 Depth Anything 3 深度把模型较早的输出提升为三维点,填补源视频覆盖不到的区域,并按相机补偿后的颜色差丢弃随时间变化的像素。
在 WanderBench 上,WanderLand 让五个骨干模型在多数维度上提升,且没有一项下降。 动态重访一致性在五个骨干上提高 2.4 到 4.8 分,重访处的空洞由模型已经展示过的内容填补,而不是重新绘制。 单次最大提升出现在全长模型 InSpatio-World 1.5 的源动态保真度上,提高 8.3 分;CameraAnything 的源动态保真度变化为 0.0。World-in-World 与 WorldForge 未纳入,因为二者本身是建立在预训练世界模型上的免训练框架,不暴露 WanderLand 要重建的输入。
启示与展望
评测与改进都限定在以单镜头、相机静止或近静止的源视频为条件、由键盘动作指定相机路线的设定内,片段长度为 3 至 25 秒;帧数受限的模型只在其最大长度(81 帧,TrajectoryCrafter 为 49 帧)的开头片段上评分,中等和困难层级对其不适用。
随片段变长,模型保住静态场景与视觉质量却丢失镜头控制和源动态,这一失效方式是在所测八个模型上观察到的;动态重访一致性与镜头控制相关,材料据此提出模型须先到达重访位姿才谈得上该处一致性。WanderLand 在源证据不变处会原样复现原输出,其额外代价是相机重访某地时多一次生成。
