跳到主要内容
返回时间线
arXiv来源发表:

同类物体同时入镜,声音到底来自哪一个?双耳线索把实例级分割mIoU抬高35.19个百分点

核心概要

当画面里出现多个同类物体时,现有音视频分割方法往往只能给出“这一类在响”的区域或类别掩码,无法指出具体是哪一个实例在发声。BiSID-AVS把双耳音频中的声源方向信息转成图像平面上的空间响应,并在特征与解码两个层面约束掩码生成,在双耳扩展的AVS-Synthetic与Habitat-AVS的多候选子集上,实例级mIoU分别提升35.19和41.21个百分点,同时明显压低同类非声源的误激活。

Source-provided article image: Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation
arXiv

深度剖析

音视频分割的输出从“与声音相关的区域或类别掩码”推进到“具体哪一个同类实例在发声”的像素级掩码,使机器人在多个同类物体并排时能锁定真正的声源。 此前的音视频分割方法主要预测声音相关区域或类别掩码,不携带显式实例身份;已有的音视频实例分割方法则主要依靠运动与跨帧关联来维持实例身份。 在双耳扩展的AVS-Synthetic与Habitat-AVS的多候选子集上,实例级mIoU分别提升35.19和41.21个百分点,并显著降低同类非声源区域的误激活。

方法把双耳音频的左右耳差异当作空间证据,直接参与候选区域的筛选与掩码形成,而不是在掩码生成之后再挑选。 一种直接做法是先独立估计声源方向或空间响应、再生成视觉候选并选出空间一致性最高者,这种决策级融合只在掩码生成之后引入空间证据。 在Habitat-AVS多候选测试样本上,把左右声道互换或换成同场景同类但不同位置的音频后,实例级mIoU从0.8952分别降到0.1737和0.1141,说明模型依赖耳间结构与音视频空间对应关系。

流程分三步:先用音频提示定位与声音类别一致的候选区域,再把双耳线索投影成图像平面上的稠密空间响应图,最后用该响应在特征层面调制候选特征、在解码层面作为稠密提示生成掩码。 此前的音频提示方法能建立类别级的音视频对应,但缺少区分同类实例的显式空间证据。 在Habitat-AVS上,同时启用特征调制与解码提示的配置取得实例级mIoU 0.8952、同类误激活0.0356,优于只保留候选定位或只保留空间响应的配置。

启示与展望

演示范围限于双耳扩展的AVS-Synthetic与Habitat-AVS两个数据集,以及一台装有双耳麦克风和RGB-D相机的移动机器人上、三个同类设备中识别发声目标的演示;当前设定假设每段音频只有一个活动声源。

当前形式假设每段音频只有一个活动声源,多声源重叠事件下的发声实例分割尚未覆盖;在单候选样本上,空间条件带来的增益有限,甚至可能略微降低掩码完整性;留一场景评估中,单候选指标也略低于对比方法。