StrideWorld把评测参照提前固定:十五个开源交互视频世界模型里,十四个随镜头移动发生场景变形
核心概要
交互视频世界模型需要镜头移动时场景保持三维结构、每条指令保持稳定效果,但现有基准的参照多从被测视频自身拟合,能把渐变变形和节奏变化吸收掉。StrideWorld把参照提前固定:场景刚性对照起始视图的真实几何,动作一致性对照模型自己前四步定出的步幅。在十五个开源模型生成的54,600段视频上,除一个模型外其余都随镜头移动发生变形,多数模型单动作保持匀速,但组合路线常中途停滞或终点偏离自身步幅的预测。
深度剖析
交互视频世界模型的评测参照改为在运动发生之前就固定下来,场景刚性与动作一致性因此不再由被测视频自己定义。 此前的基准要么用三维基础模型从生成帧重建场景再检查一致性,要么把恢复出的相机轨迹按比例对齐到指令路径,这两种参照都拟合于被测视频,渐变变形和每步距离的变化会被吸收。 在十五个开源模型生成的54,600段视频上,每个模型都超出沿同一相机路径重渲染的真实场景,比值从1.6倍到7.3倍,说明跟踪噪声不足以解释这一超出。
场景刚性用起始视图的真实深度放置三维锚点,检查相机移动后可见表面是否留在原位。 锚点被交替分成两组,一组只用于拟合相机位姿,另一组留作检验,因此检验点不参与拟合。 在已知相机路径的UE5渲染视频上,恢复相机与真实相机的偏差中位数为1.48度平移和0.31度旋转;加入模糊、压缩、闪烁或中等抖动后,中位误差仍保持在3.18度和2.09度以内,只有最强抖动会把它抬到8.26度和4.40度。
动作一致性用模型自己前四步测出的步幅作为单位,先预测后续每一步的相机位姿,再检验单动作保持时节奏是否稳定、多动作路线是否按步幅累加。 不同模型的控制接口没有共同运动单位,用自身步幅校准后,各模型只与自己的步幅比较,不需要拟合路线的整体比例,也不要求相反指令相互抵消。 十名不知模型与指标的评分者对随机抽样的视频判断相机是否按指令稳定移动,逐视频得分区分被评为良好的视频的AUC为0.88,交换路线对得分区分是否终点相同的AUC为0.83。
启示与展望
评测覆盖静态场景、起始视图可见表面范围内的平面运动,俯仰单独评估;长时程探索与回访不在范围内。适用读者是交互视频世界模型的研发与评测人员,代码、数据和排行榜已公开。
步幅在模型前几步移动过小时无法可靠测量,AlayaWorld因此未参与排名;相机从生成帧恢复,强变形会同时移动恢复出的相机,在生成视频的变形量级下会改变部分路线的近预测判定,但模型排序不变。
