跳到主要内容
检索

# Koopman算子

1 篇关联报道

订阅更新
  1. arXiv

    多模态对齐把整段触觉压成一个点:同一纹理上的两次滑动就分不开,CounterPoint改比逐帧轨迹

    物理交互的多模态对齐长期把每段录音压成一个池化向量,再按余弦相似度匹配。问题在于,同一任务条件下重复执行的两次事件(例如同一纹理上的两次滑动)共享静止条件,池化会把区分它们的瞬态跨模态波动平均掉。CounterPoint 作为轻量插件,先减去各模态的时间均值,再在对应帧上比较去均值轨迹;在四个现有多模态对齐器上,它把 Cluster 数据集的音频—触觉 R@1 从至多 27.4% 提到至少 56.0%,事件准确率从不足 59% 提到约 81%。

已读完全部报道