跳到主要内容
返回时间线
arXiv来源发表:

脑到文本解码搬上iPhone:FETTUCCINE在手机上跑到370倍实时,词错率最低4.39%

核心概要

语音神经假体把尝试说话时的神经活动解码成文字,此前依赖n-gram语言模型加LLM重打分的级联流程,需要数十到数百GB内存和专用工作站,推理延迟还会从毫秒级跳到十几秒。FETTUCCINE把开源语音识别模型改造成端到端脑到文本解码器,用神经适配器替换声学前端、只对编码器做低秩微调,在公开的脑到文本2025数据上词错率最低4.39%,并在iPhone 15 Pro Max上实现最高370倍实时的解码吞吐。

Source-provided article image: FETTUCCINE: Fast and efficient brain-to-text decoding on mobile devices
arXiv

深度剖析

脑到文本解码第一次在商用手机上跑通,不再必须依赖研究机房里的工作站。 此前的级联方案把音素解码、n-gram语言模型和LLM重打分串在一起,5-gram版本需要约300GB内存,延迟中位数94毫秒但最坏可达15.9秒。 在iPhone 15 Pro Max上,各FETTUCCINE变体保持可用词错率,Whisper Tiny的吞吐达到372.7倍实时、峰值统一内存209MB,Whisper Small词错率5.6%、吞吐55.1倍实时。

做法是把语音识别模型的前端换成接收神经信号的适配器,其余骨干基本冻结。 语音识别模型原本处理的是音频频谱,与皮层微电极记录属于完全不同的数据域。 神经适配器把512个神经通道(256个电极各两种特征)映射到骨干期望的嵌入空间,Whisper变体用一维U-Net、Parakeet变体用卷积下采样块;训练分两步,先只训适配器,再联合训练适配器与编码器上的LoRA更新。

端到端结构让梯度从输出词一路回传到原始神经特征,可以据此定位哪些电极和时段在起作用。 级联流程中语言模型与神经解码器分离,难以把某个输出词追溯到具体电极。 Whisper Base与Parakeet EOU两个变体的空间显著图高度一致(Spearman ρ=0.941),前64个最显著电极中有54个重合;按显著度消融前64个电极时,Whisper Base逐句词错率升至35.9%,随机消融同样数量则为11.6%。

启示与展望

演示范围是公开的脑到文本2025数据(参与者T15,1450句测试)与脑到文本2024数据(参与者T12,1200句测试),手机端结果来自iPhone 15 Pro Max上的Core ML转换与Swift推理;作者提出下一步是在闭环临床研究场次中部署,检验延迟与可靠性收益能否转化为实时使用。

作者指出词错率虽在端到端方法中有竞争力,但并非该基准最低(前五名提交达到2%以下);模型依赖此前记录的会话数据,达到可用词错率约需5至10个会话;当前所有变体都是非因果的,要真正兑现延迟收益还需探索因果或小上下文窗口骨干。