跳到主要内容
返回时间线
arXiv来源发表:

机器人多模态对齐补上结构一致性:UniOMA用GW重心把视觉、力与触觉的样本关系拉齐

核心概要

机器人感知的多模态对比学习通常只把同一实例的配对样本拉近,却不约束各模态内部样本之间的相对关系,因此嵌入在统计上对齐、几何上仍可能不一致。UniOMA在InfoNCE类对比损失之外加入基于Gromov–Wasserstein距离的正则项,为每个模态构造模态内相似度核,并学习一个跨模态的GW重心作为结构共识,让各模态向这一共识对齐。在五个机器人基准上,加入该正则项在多数配对比较中提升了回归、分类与跨模态检索表现,并提高了嵌入结构与输入核参照的秩相关。

Source-provided article image: UniOMA: Unified Optimal-Transport Multi-Modal Structural Alignment for Robot Perception
arXiv

深度剖析

多模态对齐多了一项约束:除了让同一实例的不同模态样本彼此靠近,还要让每个模态内部样本之间的相似关系在共享空间里保持一致。 此前的InfoNCE类对比目标把对齐当作正负样本的二分类,只约束实例级对应,不显式建模模态内的连续距离几何,因而可能出现跨模态相似度仍然成立、模态内核却彼此不同的情况。 在VFD与VFP上,以256个留出测试样本的输入核均值为固定参照,Pairwise的秩相关分别为0.318和0.392,加入GW项后为0.481和0.575,到参照的GW距离也同步下降。

做法是把每个模态表示成一个模态内相似度矩阵,再求这些矩阵的Gromov–Wasserstein重心作为结构共识,训练时让各模态的嵌入核向这个共识靠拢。 Gromov–Wasserstein距离比较的是两个度量空间内部的关系结构而非原始坐标,因此不需要定义跨模态代价函数;以单一重心为锚点也避免了逐对耦合,耦合数量随模态数线性增长。 在VFD、VFP、MuJoCo Push、VAT与自建的真实6自由度机械臂VIP数据集上,所有方法共享骨干与训练计划;在4至7模态的轨迹一致性分类中,UniOMA在各模态数下取得最高准确率,每轮耗时随模态数近似线性增长。

启示与展望

演示范围是五个机器人感知基准上的离线对齐评估,包括VFD、VFP、MuJoCo Push、VAT与在6自由度机械臂上采集的VIP数据集,以及Isaac Lab中的运动与插销任务;结构度量使用256个固定测试样本,以输入核均值为参照。

共享结构共识适用于各模态由共同物理因素产生相关关系模式的场景;若模态信息 largely 不同,对齐可能忽略有用的模态特有结构。学习到的权重只是模态与共识一致程度的经验指标,并非模态重要性度量;熵项抑制但不阻止权重集中到单一模态。更好的结构对齐不必然带来更好的下游表现,接近饱和任务上的增益很小,且有一处比较出现下降。