跳到主要内容
返回时间线
arXiv来源发表:

多声道录音统一进一条词元流:SpheraAudio 在空间音频基准上超过 Spatial-Omni-7B

核心概要

现有大型音频语言模型为保持通用音频理解稳定,通常把声音压成单声道,声道间编码方向与距离的相位关系因此未被利用。SpheraAudio 接受单声道、立体声、一阶及更高阶 Ambisonics 录音,把多声道复频谱编码成空间词元,与音频词元按时间交错送入语言模型。在 SpheraQA、SO-Bench 与 TWNM 三个空间基准上,4B 规模的 SpheraAudio 均领先,SpheraQA 总体准确率 60.18%,比 Spatial-Omni-7B 高 18.53 个百分点。

Source-provided article image: Any Channel Count, One Token Stream: Incorporating Spatial Audio Understanding and Reasoning into Large Audio-Language Models
arXiv

深度剖析

大型音频语言模型开始直接使用多声道录音中的声道间空间线索,而不只读取单声道内容。 此前的通用音频语言模型多保留单声道处理,以维持通用音频表现并避免多声道冗余信息干扰;已有的空间扩展或限定双耳两声道,或需要麦克风坐标,或把空间词元整体前置、让时间对应关系在微调中隐式学习。 在 SpheraQA 上,SpheraAudio 总体准确率为 60.18%,Spatial-Omni-7B 为 41.65%,Gemini 3.1 Pro 仅接收全向声道时为 42.73%;在 SO-Bench 上 SpheraAudio 为 66.94%,Spatial-Omni-7B 为 64.61%;在 TWNM 上 SpheraAudio 为 71.70%,Spatial-Omni-7B 为 46.20%。

空间信息与声音内容在同一个序列里按时间成对出现,模型可以分别查询某一时刻听到什么和它来自哪里。 音频编码器 AuT 从单声道对数梅尔谱提取内容特征,空间编码器 Spatial AuT 从多声道短时傅里叶变换的实部与虚部提取空间特征,两个投影器把特征映射为音频词元与空间词元。 每个空间词元紧挨在对应音频词元之前,两者共享时间坐标、以第三个坐标区分模态,这一位置编码称为 SMRoPE;在 16 段确认录音上,只平移空间词元向量使准确率从 75.00% 降到 25.00%,两条流同步平移则保持 81.25%。

不同声道数的录音被映射到同一套四分量空间表示,因此一个模型可以覆盖单声道、立体声、一阶 Ambisonics 以及经校准的麦克风阵列。 一阶 Ambisonics 按 ACN 顺序与 SN3D 归一化直接输入,高阶 Ambisonics 取其零阶与一阶分量,立体声经可逆的中侧变换,校准阵列则用实测方向响应做阵列到 Ambisonics 的编码。 训练分三步:先在带时间标注与房间属性的模拟一阶 Ambisonics 上预训练 Spatial AuT,再做投影器对齐与联合监督微调,最后用 GRPO 以最终答案奖励做强化学习;在通用音频的九个测试子集上,混合单声道与空间数据的适配版本全部优于只用单声道数据的适配版本,并在其中八个上优于原始基座。

启示与展望

已展示的范围是 4B 参数规模下对单声道、立体声、一阶 Ambisonics 及经校准阵列录音的空间理解与推理,评测覆盖 SpheraQA 的 20,492 道题以及 SO-Bench 与 TWNM 两个公开基准,并另做通用音频与立体声专项实验。

在 SpheraQA 的分项中,运动方向准确率为 34.93%,低于 Spatial-Omni-7B 的 45.36% 与 Gemini 3.1 Pro 的 49.39%;距离比较为 32.04%,也略低于两个对照。预训练的 Spatial AuT 定位头在移动声源上仍较困难,转向响应功率在该任务与汇总的声事件定位检测误差上更好。后续工作指向在更多样录音条件下加强运动与声源关系推理。