跳到主要内容
检索

# 双耳音频空间线索

1 篇关联报道

订阅更新
  1. arXiv

    同类物体同时入镜,声音到底来自哪一个?双耳线索把实例级分割mIoU抬高35.19个百分点

    当画面里出现多个同类物体时,现有音视频分割方法往往只能给出“这一类在响”的区域或类别掩码,无法指出具体是哪一个实例在发声。BiSID-AVS把双耳音频中的声源方向信息转成图像平面上的空间响应,并在特征与解码两个层面约束掩码生成,在双耳扩展的AVS-Synthetic与Habitat-AVS的多候选子集上,实例级mIoU分别提升35.19和41.21个百分点,同时明显压低同类非声源的误激活。

已读完全部报道