跳到主要内容
检索

# V-JEPA2

2 篇关联报道

订阅更新
  1. arXiv

    在1,888名参与者、32,847段视频上评测七种视频基础模型,VideoPrism在16项任务中10项居首,V-JEPA2-SSv2在翻转手掌任务上取得85.3%的AUC

    该研究构建了一个来自1,888名参与者(其中727人患帕金森病)的32,847段网络摄像头视频数据集,覆盖16项标准化临床任务,并以冻结特征加线性分类头的方式系统评测了七种视频基础模型(VideoPrism、V-JEPA2及其SSv2变体、ViViT、VideoMAE、VideoMAEv2、TimeSformer),结果显示任务显著性与模型架构高度相关:VideoPrism在视觉言语运动学和面部表情任务上表现最佳,V-JEPA2系列在上肢运动任务上更强,TimeSformer在手指敲击等节律性任务上仍具竞争力,整体AUC为76.4%–85.3%、准确率为71.5%–80.6%,特异性最高达90

  2. arXiv

    Arti-JEPA:将视频世界模型适配到声道实时MRI以分析言语产生

    该工作把通用视频世界模型V-JEPA 2在约62小时无标注声道实时MRI视频上继续自监督预训练,得到冻结的Arti-JEPA编码器,并在音素预测、口吃流畅/不流畅分类与舌切除术前术后迁移三类任务上评估,发现时间视频先验明显优于逐帧图像编码器、潜空间预测至少不弱于像素重建、域适配对跨域音素预测约翻倍Cohen's κ但对二分类口吃检测帮助有限,且术后音素信号仍可部分解码。

已读完全部报道