跳到主要内容
检索

# LeWorldModel (LeWM)

1 篇关联报道

订阅更新
  1. arXiv

    JEPA世界模型从初始化就丢掉样本差异:SADL只在供给不足时约束编码器,十种子崩溃率从50%降到0%

    JEPA 类世界模型的编码器表示从初始化起就被一个所有输入共享的分量主导,而投影器里的批归一化把这个方向从下游损失中屏蔽掉,样本差异因此被压缩直至崩溃。SADL 把投影器输出端正则项所要求的差异容量与编码器实际能激发并传递的差异容量作比较,只在供给不足时对编码器加一项约束,不引入辅助网络或可训练参数。在 LeWM 与 INTACT 的单任务和四任务联合训练中,十个随机种子的崩溃率由 50% 降到 0%,训练一个 epoch 后编码器有效秩为对应基线的 3.4–6.4 倍。

已读完全部报道