跳到主要内容
检索

# 机器人感知

1 篇关联报道

订阅更新
  1. arXiv

    机器人多模态对齐补上结构一致性:UniOMA用GW重心把视觉、力与触觉的样本关系拉齐

    机器人感知的多模态对比学习通常只把同一实例的配对样本拉近,却不约束各模态内部样本之间的相对关系,因此嵌入在统计上对齐、几何上仍可能不一致。UniOMA在InfoNCE类对比损失之外加入基于Gromov–Wasserstein距离的正则项,为每个模态构造模态内相似度核,并学习一个跨模态的GW重心作为结构共识,让各模态向这一共识对齐。在五个机器人基准上,加入该正则项在多数配对比较中提升了回归、分类与跨模态检索表现,并提高了嵌入结构与输入核参照的秩相关。

已读完全部报道