离线语音翻译模型自己学会边听边译:SimPOTrans 不用合成读写轨迹,调块长即可移动质量与延迟的工作点
核心概要
奈良先端科学技术大学院大学提出的 SimPOTrans 让离线语音翻译模型通过两阶段强化学习后训练自行适应对话式同声传译,不再依赖合成的读写轨迹,也不显式优化延迟。第一阶段在完整句子上用 COMET 奖励提升翻译质量,第二阶段把模型暴露在分块的部分语音输入下,用自生成的多轮轨迹学习每一轮译什么、怎么译。在 ACL 60/60 与 MCIF 两个长语音基准、EnDe、EnZh、EnJa 三个方向上,它在 COMET 与 MetricX-24 上取得优于若干强基线的质量—延迟权衡,推理时只需改变语音块长来调节工作点。
深度剖析
离线语音翻译模型可以不经专门设计的同声传译训练流程,直接通过强化学习后训练获得边听边译的对话式行为。 此前的对话式同声传译方法要么依赖合成的读写轨迹,要么把翻译质量与延迟放在一起联合优化,而这两类目标相互竞争。 在 ACL 60/60 上,SimPOTrans 在 COMET 与 MetricX-24 两个指标、多个延迟区间内均优于 SimulSense、InfiniSST 等基线;这些基线用相同训练数据和相同大模型骨干复现。
训练分两步:先在完整语音上把翻译能力做扎实,再让模型在分块的部分语音输入下自己生成多轮翻译并从中学习。 第二阶段用组相对策略优化(GRPO,一种按同一输入下多个采样输出的相对好坏分配奖励的强化学习方法)更新模型,奖励由整句翻译质量、译文与原文语序的一致性以及相邻轮次重复内容的惩罚三部分构成。 训练数据为 CoVoST 2 的 EnDe、EnZh、EnJa 三个方向,每个方向约 430 小时语音;骨干为 Whisper-large-v3 编码器、两层 MLP 适配器和 Qwen3-8B,监督微调阶段冻结语音编码器、全量微调适配器并用 LoRA 适配大模型,第二阶段强化学习只更新 LoRA 参数。
推理时不需要额外的决策模块,按固定时长切块逐块生成译文,改变块长就能移动质量与延迟的工作点。 此前的推理时策略依赖人工设计的规则或单独训练的判断模块,模型本身并未针对部分语音输入训练。 在 IWSLT 2026 同声传译赛道使用的 MCIF 开发集低延迟区间(LongYAAL 不超过 2 秒)上,EnDe 取得 COMET 0.87、LongYAAL 1.6 秒,EnZh 取得 COMET 0.76、LongYAAL 1.7 秒。
启示与展望
演示范围是语音到文本的同声翻译:在 ACL 60/60 与 MCIF 两个长语音基准上,针对 EnDe、EnZh、EnJa 三个方向,与用相同数据和骨干复现的 LLM 基线比较质量—延迟权衡。推理按固定时长切块,上下文在保留语音超过设定时长后于句末标点处重置。
固定时长切块可能把语义或声学上连贯的单位切开,作者把边界感知切块列为后续方向。评测只覆盖语音到文本翻译,语音到语音的扩展同样被列为未来工作。BLEU 明显低于基线,作者将其解释为译文更贴近原文语序、措辞偏离参考所致,而非质量下降。
