跳到主要内容
返回时间线
arXiv来源发表:

语音智能体听懂了却照做:加一层动作门控,旁听语音执行率从41%降到7–10%

核心概要

语音智能体的问题已从“听不清”转向“该不该做”:现有系统把识别结果直接交给推理模型执行,即使听写完全正确,也无法判断这句话是否说给智能体、说话人是否有权请求。一种独立于感知与推理的动作决策层,依据指向性、说话人匹配、内容置信度、工具可靠性与动作风险,在“执行、等待、追问、保持沉默”之间选择;在WearVox等录制音频上,显式门控把被执行的旁听语音从41%降到7–10%,同时服务83–85%的有效请求。

Source-provided article image: Great Listeners, Poor Decision-Makers: Rethinking Agentic Audio AI
arXiv

深度剖析

语音智能体需要一道独立的动作决策层,把“是否执行”从推理模型内部拿出来单独判断。 当前设计让推理模型直接输出动作,不保留对“这句话是否说给智能体”的显式信念,也不表示错误动作的代价,等待、追问和沉默都不是一等选项。 在WearVox旁听语音与VGBench说话人切换录制音频上,模型自行决定时执行41.2%的旁听语音、说话人切换下仅3.1%正确保持沉默;调优后的模糊门控把这两项改为7.9%和65.8%,同时服务84.6%的有效请求,而仅按内容置信度设阈值只把旁听执行降到36.5%。

决策层把指向性、说话人匹配、内容置信度、工具一致性、话语完整性和动作风险作为输入,用模糊规则、进化调优和序贯决策实现。 工具通过一份“证据契约”随输出返回校准置信度和在当前声学条件下有效的程度,使每次动作都能追溯到证据。 门控在单块GPU上耗时不到0.1毫秒,说话人验证12毫秒、独立指向性检测器9毫秒,可在最后一个工具输出后100毫秒预算内完成;而向智能体自身的大音频语言模型询问指向性中位耗时142毫秒,超出该预算。

风险定价让高代价错误保持稀少,而输入比算法选择更决定效果。 在相同证据下,风险无关的门控执行错误高风险动作约1.4%,比调优后的风险感知门控高30到70倍;识别器过度自信时,风险无关门控效用跌到0.18、约7%高风险动作出错,而校准或调优的风险感知门控保持在0.3%及以下。 在20万测试回合的受控模拟中,调优门控与校准乘积门控在相同追问率下效用相差不超过0.01;在录制音频上,去掉指向性输入使旁听执行率升到33.8%,去掉风险输入使录制音频上的错误高风险动作增至五倍。

启示与展望

结论建立在受控模拟与两个公开录制音频基准上:WearVox的旁听语音与有效查询,以及VGBench的说话人切换;三个基座模型均为70亿至130亿参数的开源权重音频语言模型,未测试闭源模型。追问决策按假设的澄清成功率计分,而非真实用户;证据契约与延迟提交两项主张只在模拟中得到检验。

模拟把感知抽象为具有假定分布的分数,并且只检验了证据项之间的一种依赖形式;说话人匹配在没有注册音频时被设为1,因此指向性得到的检验比说话人归属更充分;独立指向性检测器在WearVox的一部分上训练,未必能迁移到其他设备;指向性从音频而非转写判断的对照只查询了一个模型。作者还指出,大音频语言模型在不同声学条件下的校准基本未被测量,而分级代价与多动作类型下的门控行为仍待检验。