跳到主要内容
检索

# 联合嵌入预测架构

16 篇关联报道

订阅更新
  1. arXiv

    剪掉泄漏神经元:JEPA-Prune 只剪 1.6% 神经元,微调模型的人名推断准确率最多降 7.4 个百分点

    在私有记录上微调的大模型会记住姓名等个人信息,而现有隐私神经元编辑只看泄漏模型本身,缺少一份不含个人信息的参照来区分身份神经元与有用上下文。JEPA-Prune 用同一批记录的替代值与掩码视图训练一个不含原始个人信息的公开模型作为参照,再以跨模型表示探针、积分梯度和尺度不变特异性分数定位对个人信息敏感的神经元,部署前直接置零、无需重训。在三个个人信息数据集和五个模型上,剪掉 1.6% 的神经元使个人信息推断准确率最多下降 7.4、抽取召回率最多下降 13.9,多数模型未见文本困惑度保持在未剪模型的 16% 以内。

  2. arXiv

    JEPA世界模型会记住背景而忘掉动作:加入运动引导对比正则后,随机背景下规划成功率从52%升到78%

    JEPA式世界模型只用分布正则约束隐空间时,编码器会把每一回合固定的背景当成主要信息,反而压掉机械臂与物体交互带来的状态变化,这种失效被称为静态坍缩。新方法在同一回合内把预测的隐状态变化与候选观测的变化做对比,并用光流相似度给出软目标,让运动相近的候选获得相近的监督。在OGBench-Cube随机背景设置上,规划成功率相对LeWM从52%升到78%,在LIBERO-Object上从14%升到54%,其余四个视觉控制基准保持相当水平。

  3. arXiv

    冻结世界模型不再逐帧反传:WARP-JEPA把规划换成候选提议,长程任务推理快9.6–18.8倍

    分层联合嵌入预测架构(H-JEPA)此前靠测试时对动作做梯度下降来规划,迭代求解器在长程任务上占去单回合运行时间的96.6%–97.7%。WARP-JEPA在保持世界模型冻结的前提下,用学习到的多候选轨迹提议器替代在线优化,并在生成循环内调用冻结预测器完成候选打分。在30个冻结的2、3、4层模型、四个基准上,长程任务单回合推理加速9.6–18.8倍(Cube上为2.9–3.0倍),任务成功率最高提升33.3个百分点。

  4. arXiv

    跨模态遥感检索不再只给一个点估计:CAPE-JEPA 在 BEN-14K 跨模态方向把 F1@5 提高 13.74 分

    跨模态遥感检索要在合成孔径雷达与多光谱图像之间找到语义相同的场景,而此前的 JEPA 类方法把被遮挡图像块的潜在表示当作确定值回归,默认每块都同样可预测。CAPE-JEPA 改为输出每块均值和方差的高斯预测器,用负对数似然训练,并加入对抗式跨模态分布正则与训练中对比学习。在 BEN-14K 与 fMoW 上,它在全部八个检索方向上超过包括 X-JEPA、SkySense 和 CROMA 在内的基线,相对 X-JEPA 在 BEN-14K 跨模态方向最多高 13.74 分、在 fMoW 上最多高 15.59 分,参数量为 407.30M 对 432.72M。

  5. arXiv

    同一张登录页,合法与劫持各占一半:LGWM 只看转场,17 毫秒判出异常

    图形界面智能体的安全风险可能不在屏幕上,而在产生这张屏幕的转场里:同一张凭证页既可能是点击“登录”后的正常结果,也可能是点击“查看订单”后的劫持结果。LGWM 不渲染下一屏,而是直接在观测编码空间预测下一屏的表示,把校验变成一次向量比较;在每对凭证页像素完全相同的 RSWT-Bench 上,免训练的一致性分数达到 0.987 AUC,单次判定 17 毫秒,与最强闭源视觉语言模型同档,并比生成式 GUI 世界模型高约十个 AUC 点。

  6. arXiv

    流体世界模型能读出物理量却推不动:预注册测试显示,可解码、显著与可操控是三件事

    在二维衰减纳维–斯托克斯流上,三项预注册研究把潜空间里常被当作“学到物理”的证据拆成可解码、显著与可操控三种性质。联合嵌入预测架构(JEPA)在三个探针目标上优于同架构未训练网络,却未达到预注册的物理组织标准;渲染场的自编码器让拟能(enstrophy,涡量平方的均值)在无监督慢方向中显著,加入VICReg正则后显著度在每对比较中下降而线性可解码性上升;通过分流信息构造的可调方向在密封数据上于全部8个训练模型中找到响度旋钮,谱形旋钮只在5个新种子中的3个出现,低于预设的4个门槛。

  7. 单细胞扰动预测有了统一底座:DCAF把数据配对、评估口径与模型放进同一框架

    单细胞扰动实验成本高、通量有限,计算预测却长期受评估口径不一和难以稳定超过简单基线困扰。DCAF把数据配对、评估标准与预测模型合成一个框架:用熵正则最优传输为每个扰动细胞找回扰动前状态,用非沉默基因的对数倍数变化打分,再用JEPA结构联合编码扰动前后细胞。在跨基因、跨细胞类型与跨脑区设定中,DCAF-model在非沉默基因上的对数倍数变化R²与MSE优于GEARS、scGPT、线性与均值基线。

  8. arXiv

    世界模型不再先学表征再配控制器:LeWAM把动作预测并进同一遍训练,接触密集任务成功率从28.6%升到89.7%

    LeWAM把视觉表征、动作条件潜在动力学和随机策略放进同一次训练,在接触密集任务上把规划成功率从28.6%提到89.7%,长程任务从10.9%提到46.2%,规划速度提高32.3倍。

  9. researchsquare.com

    脑MRI基础模型不再只吃一种序列:1.55M扫描训练,少样本下胶质增生与多发性硬化提升最高15%

    纽约大学团队发布Neuro-JEPA,一个把T1w、T2w、FLAIR三种脑MRI序列编码进同一架构的多模态基础模型,预训练使用来自428,647次检查的1,551,862例扫描。它在三个医疗系统和12个公开数据集共47项下游任务上整体优于BrainIAC、VoCo与NeuroVFM,且预训练数据量不到NeuroVFM的三分之一;在标注稀缺的少样本设置下,胶质增生与多发性硬化的AUROC提升最高达15%,NACC阿尔茨海默病任务上约提升15%。

  10. arXiv

    CT预训练偏爱可预测结构:病理信号在隐藏目标预测中被削弱,扫描级判断几乎不受影响

    在113,611例胸腹盆CT上训练的TAP-JEPA编码器,其冻结特征在胸部与腹部分类基准上与现有CT编码器相当;但按训练时的掩码、教师与预测器逐位复算显示,隐藏目标预测把病理的平均Skill从0.388压到0.271,而解剖结构只从0.921降到0.873。病理区域在教师方向上向配对正常对照移动34.7%,对照反向移动13.6%,且离可见上下文越远位移越大;在七个扫描级探针中的四个,删去全部末层病理token对决策边距的影响不超过0.45%。