跳到主要内容
检索

# 多模态对齐

2 篇关联报道

订阅更新
  1. arXiv

    机器人多模态对齐补上结构一致性:UniOMA用GW重心把视觉、力与触觉的样本关系拉齐

    机器人感知的多模态对比学习通常只把同一实例的配对样本拉近,却不约束各模态内部样本之间的相对关系,因此嵌入在统计上对齐、几何上仍可能不一致。UniOMA在InfoNCE类对比损失之外加入基于Gromov–Wasserstein距离的正则项,为每个模态构造模态内相似度核,并学习一个跨模态的GW重心作为结构共识,让各模态向这一共识对齐。在五个机器人基准上,加入该正则项在多数配对比较中提升了回归、分类与跨模态检索表现,并提高了嵌入结构与输入核参照的秩相关。

  2. npj Digital Medicine

    手腕脉搏波形读出餐食信息:与餐食文字对齐后胜率0.69,卡路里摄入预测AUC提高11%

    苹果公司团队把腕部光电容积脉搏波(PPG,用绿光测皮下微血管血容量变化的信号)与餐食文字描述对齐,训练出营养PPG语言模型NPLM,检验被动采集的脉搏波形是否携带进食信息。在19,340名受试者的1,122,834条餐食描述上,近餐时段的PPG把餐食描述的对数似然推高到胜率0.69,而保留同一受试者与时段、只打乱餐食配对的对照为0.60,跨受试者打乱则落在0.50的随机水平。该信号在独立验证队列中不经再训练即可把餐后饱腹感预测的AUC从0.64提高到0.71,作者将其定位为对文字饮食记录的补充而非替代。

已读完全部报道