跳到主要内容
返回时间线
arXiv来源发表:

多模态对齐把整段触觉压成一个点:同一纹理上的两次滑动就分不开,CounterPoint改比逐帧轨迹

核心概要

物理交互的多模态对齐长期把每段录音压成一个池化向量,再按余弦相似度匹配。问题在于,同一任务条件下重复执行的两次事件(例如同一纹理上的两次滑动)共享静止条件,池化会把区分它们的瞬态跨模态波动平均掉。CounterPoint 作为轻量插件,先减去各模态的时间均值,再在对应帧上比较去均值轨迹;在四个现有多模态对齐器上,它把 Cluster 数据集的音频—触觉 R@1 从至多 27.4% 提到至少 56.0%,事件准确率从不足 59% 提到约 81%。

Source-provided article image: From Points to Trajectories: Rethinking Multimodal Alignment for Physical Events
arXiv

深度剖析

多模态对齐的匹配对象从整段录音的池化向量,改为保留时间顺序的去均值轨迹,使同一条件下重复执行的两次事件可以被区分。 此前的对齐器把每段录音压成一个池化向量,再按余弦相似度匹配;在 Cluster 触觉纹理数据集上,四种不同几何的对齐器音频—触觉 R@1 相差不到三个百分点,事件准确率都低于 59%。 在 Cluster 上,池化对齐器区分事件与其孪生事件的中位间隔只有 0.04 到 0.08 个标准差,而 CounterPoint 下为 0.32 到 0.63 个标准差;把 40 毫秒输入块打乱后,TRIANGLE 的音频与触觉嵌入与原序列的余弦相似度仍为 1.000。

做法是给每个模态减去自身的时间均值,只保留围绕均值的波动,再在时间对齐的帧上计算跨模态一致性得分。 时间均值对应记录中由纹理、速度、力等静止因素决定的“条件层”,减去它相当于把条件层留给原对齐器,轨迹分支只比较条件之上的动态层。 轨迹分支只增加 0.4% 的参数和 0.7% 的峰值训练显存;在 Cluster 上,CounterPoint 的音频—触觉 R@1 为 58.2%,高于 soft-DTW 的 37.3%、最佳平移的 47.6% 和 MaxSim 接近点基线的水平。

增益随模态对的事件间隙变化:音频与触觉之间存在可测的同步波动,而只记录路径的视觉扫描几乎没有。 在 Cluster 上,音频与触觉的经验事件间隙为 0.146,仅含路径的视觉对照接近零;因此 CounterPoint 把 AVH 与 HVA 提升超过 30 个百分点,而 HAV 至多提升 0.3 个百分点。 在自由手势的 HAVdb 数据集上,孪生事件只共享条件、不共享驱动,CounterPoint 把 HAV 提升至少 84.7 个百分点,Avg R@1 从至多 9.9% 升到至少 87.4%。

启示与展望

演示范围限于两个纹理滑动数据集:机器人以 8 个方向、5 种速度、2 种力在 118 种纹理上复现探针滑动的 Cluster,以及 10 名受试者以裸指滑过 10 种纹理的 HAVdb;留出划分覆盖纹理、类别、速度、方向与受试者。读者对象是需要做多传感器事件级检索的机器人感知与多模态学习研究者。

理论结论依赖遍历性、混合性与给定驱动下事件条件独立等假设;在 Cluster 上,仅含路径的视觉模态事件间隙接近零,因此该模态对的检索增益有限。打乱时间对齐会抹掉大部分增益:单个 40 毫秒 token 的偏移损失 26 个百分点,160 毫秒偏移或置换几乎消除全部改进。