冻结的V-JEPA其实读得懂速度:换成反事实监督,4B视频模型均分72.1反超同级开源模型
核心概要
视频语言模型通常靠字幕和问答对训练,模型学会的是检索文字提到的少数属性,而不是读视频里的变化。V-JEPA-LM 改用像素变换生成的反事实样本,让同一段视频的两种版本答案不同,迫使语言模型去读冻结编码器里已有的动态信息。单阶段、453万公开样本、每帧32个视觉token训练出的1B到8B模型,在十一个视频基准的均分上领先各尺寸同级开源模型,4B模型为72.1。
深度剖析
视频语言模型可以不再依赖字幕和问答对去猜视频内容,而是被训练去读一个冻结世界模型编码器里已经存在的运动信息。 此前的做法是把V-JEPA这类编码器按图像-文本视觉语言模型的配方接到语言模型上,用字幕和问答对做对齐、预训练和指令微调,V-JEPA 2用了8850万样本、每帧288个token。 在留出的速度比题目上,冻结V-JEPA特征的线性探针能读到86.7%,字幕加问答训练出的桥接层仍保留83.5%,但该视觉语言模型在答案位置只剩47%到54%,最终作答接近随机(33.7%),对同一片段与其改速版本有89%给出相同答案。
把答案交给像素变换来定,模型就必须比较同一段视频的两个版本,共享的画面内容无法区分答案,只有变化本身能区分。 此前的时序训练信号多是单一目标,例如只判断视频正放还是倒放,或加入带标注的时序问答,这些在同一权重下没有带来提升。 在同样的2B模型、同样的混合数据和训练计划下,加入反事实行让十二项均分在8k步时提高4.5分,速度题提高32.8分;只加时间箭头问题在同一权重下8k步为56.37,与仅用字幕和问答的56.65相当。
这套监督让模型在训练构造之外也保持读数能力,包括训练中未出现的速度比和未用于该类构造的视频语料。 此前的视频语言模型在自然基准的速度题上接近随机,开源4B模型在TOMATO上最高36.5。 六个留出集共3294项,每个只改变一个因素,V-JEPA-LM各尺寸平均94.5到96.3,开源模型为43.5到55.5;4B模型在1.6、2.5、4.0三个未训练速度比上分别为97.2、100和99.4。
启示与展望
演示范围是32帧短视频片段,基准问题针对数秒到数分钟的视频;模型以冻结的V-JEPA 2.1为编码器,在453万公开样本上单阶段训练,最大训练规模约650 H100小时。文本识别、单图像问答和小时级长视频不在目标范围内,长视频被列为后续工作。
速度变化方向与内容方向存在重叠(重叠度0.40与0.59),需要答案平衡来分离;配对损失在读写不可分离时不保证内容系数为零,因此内容占比是在答案位置实测而非推导。编码器对称性假设对V-JEPA只是近似成立,结论以冻结特征上的实测为准。
