跳到主要内容
返回时间线
arXiv来源发表:

换一把没见过的键盘,击键声仍能被还原:Decker把跨键盘精度差从约40点压到18点以内

核心概要

声学侧信道攻击此前只在单一键盘、固定麦克风、安静房间且训练与测试同设备的条件下被验证,换到未见过的键盘上,强单模态与多模态基线准确率会掉约四十个百分点。Decker把键盘签名归一化、域对抗解耦、跨键盘监督对比对齐和声学风格随机化放进同一训练框架,学习对按键有区分度、对键盘与用户不变的嵌入,把跨键盘泛化差距压到十八个百分点以内,再用语言模型在候选键上做约束解码,把零散的按键预测还原成连贯文本。

Source-provided article image: Domain-Invariant and Language-Model-Assisted Acoustic Side-Channel Attacks on Keyboards
arXiv

深度剖析

换一把训练时没见过的键盘,击键声仍能被逐键识别,这是此前同设备评测无法回答的问题。 此前的证据都来自单一键盘、固定麦克风、安静房间、同质打字者,并且训练和测试用同一台设备;在这种设定下准确率很高,但一旦换设备就不再成立。 在Hear数据集的未见键盘划分上,wav2vec2、ECAPA-TDNN、CoAtNet-S和ResNet-34四种单模态模型都掉约四十个绝对百分点,例如ECAPA-TDNN从95.3%降到58.1%;八种早期、中期、晚期欧氏融合变体中最好的双向交叉注意力也只到66.2%。

做法是把“按键身份”和“键盘身份”在嵌入空间里拆开,让同一个键在不同设备上的表示靠拢。 键盘签名归一化是一个可学习的一维卷积逆滤波模块,用来抵消设备冲激响应带来的频谱着色;声学风格随机化在训练时用随机IIR滤波、平滑的mel谱包络扭曲和指数衰减扰动合成没录过的键盘。 训练目标同时包含按键交叉熵、经梯度反转层的域对抗损失和跨设备正样本的监督对比损失;在Hear的域偏移评测中,完整Decker在未见键盘上达到81.3%,去掉梯度反转层降到68.1%,去掉键盘签名归一化降到63.7%。

逐键预测里的局部错误由语言模型在声学候选集内纠正,序列层面的还原率因此明显提高。 解码只在每个时间步的前k个声学候选键上做约束束搜索,语言模型可以调整这些候选的排序,但不能引入声学证据排除掉的键。 在Decker的top-k候选上,原始声学输出的字符准确率为81.3%、整句完全匹配为42.6%;接GPT-2 Small后分别升到86.9%和58.7%,接FLAN-T5 Base后为89.4%和62.1%。

启示与展望

评测建立在Hear数据集之上:53名参与者、37台笔记本键盘,经外接麦克风、设备内置麦克风和VoIP流三种通道采集,并配有安静、中等噪声和高噪声三类环境。结论适用于该采集协议下的笔记本键盘击键推断,包括跨键盘、跨用户、跨环境与跨设备四种划分;作者把触屏、超薄键盘和柔性输入面列为尚未覆盖的设备类型。

作者指出,部分结果依赖标准化打字语料和已知的密码类别,完全不受控的真实打字可能不同,报告数字应理解为在所述协议下刻画威胁,而非普遍保证。语言模型带来的增益集中在人类选择偏好降低熵的文本和类人密码上,对高熵随机字符串提升很小;强脉冲或重叠噪声环境、以及个体打字生物力学差异仍可能造成模型漂移。