JEPA世界模型从初始化就丢掉样本差异:SADL只在供给不足时约束编码器,十种子崩溃率从50%降到0%
核心概要
JEPA 类世界模型的编码器表示从初始化起就被一个所有输入共享的分量主导,而投影器里的批归一化把这个方向从下游损失中屏蔽掉,样本差异因此被压缩直至崩溃。SADL 把投影器输出端正则项所要求的差异容量与编码器实际能激发并传递的差异容量作比较,只在供给不足时对编码器加一项约束,不引入辅助网络或可训练参数。在 LeWM 与 INTACT 的单任务和四任务联合训练中,十个随机种子的崩溃率由 50% 降到 0%,训练一个 epoch 后编码器有效秩为对应基线的 3.4–6.4 倍。
深度剖析
JEPA 类世界模型的编码器表示在训练开始时就带有一个所有输入共有的分量,样本之间的差异只占其能量的一小部分,仅用端点正则项训练一个 epoch 后仍停留在低位。 此前,投影器输出端的正则项被视为足以防止表示崩溃,但该正则项只作用于投影后的端点,并不检查编码器是否保留了样本差异。 在 LeWM 与 INTACT 上,初始化时样本差异只携带编码器表示能量的一小部分,仅用需求正则项训练一个 epoch 后仍只占一小部分,而端点已携带大部分能量。
SADL 保留原有训练目标,只在编码器供给的差异容量低于端点正则项要求的容量时,直接对编码器施加一项单边约束。 与在编码器上常开一个固定权重的正则项不同,这项约束在供给满足需求时为零,因此不会持续挤压表示。 在四任务 INTACT 配 SIGReg 的消融中,常开编码率项在权重偏小时退化或崩溃、偏大时过度正则,而 SADL 在权重跨越两个数量级时保持稳定。
修正后的表示在控制任务上更早可用,官方无搜索控制成功率在训练早期即明显提高。 仅用端点正则项的基线在同样更新步数下成功率低得多,且部分种子在训练结束时已崩溃。 在匹配注意力后端与更新步数的比较中,INTACT 上 SADL 第一个 epoch 的成功率已超过仅用正则项第二个 epoch 的结果,LeWM 在 MATH 与 Flash 两种后端下成功率均上升。
启示与展望
已验证的范围是 ViT-Tiny 与 ViT-S 规模的世界模型和图像编码器,任务为 PushT、Cube、Reacher、TwoRoom 的单任务与四任务联合训练,需求正则项包括 SIGReg、VISReg、QQWorld 等八种,图像侧为 ImageNet-LT、Galaxy10、CIFAR-10 与 Imagenette。
关于共享分量落在投影器雅可比零空间的论证只针对带批归一化的投影器,其他归一化方式的不变性尚未分析;传递项只度量二阶关联,零互协方差不能排除非线性依赖;在基线本已健康的 CIFAR-10 上,增益落在种子噪声范围内。
