跳到主要内容
返回时间线
arXiv来源发表:

语言隐写不再要求收发两端逐位一致:STEALTH 让不同精度、不同 GPU 乃至不同模型族的接收方都解出全部消息

核心概要

可证明安全的语言隐写一直默认接收方能逐位复现发送方的词元概率,而浮点精度、量化、GPU 架构或逐词生成与整段打分的差别都会打破这一前提。STEALTH 改用带密钥的指数竞赛采样,让概率失配只翻转竞赛接近的那一个词元,再用无速率脊柱码和束搜索把翻转吸收掉。在 Gemma、Llama、Qwen 三个模型族上,同族接收方在每种精度、量化等级、更小模型和另一种 GPU 上都解出了发送的全部消息,跨模型族也能全部解出。

Source-provided article image: STEALTH: Steganographic Text Encoding Agnostic to Low-Level Tensor Hardware
arXiv

深度剖析

语言隐写可以不再要求收发两端算出完全相同的词元概率分布,接收方在精度、量化、模型规模或 GPU 架构与发送方不同时仍能还原隐藏消息。 此前的可证明安全方案把消息编码在采样词元落入分布的精确位置,接收方必须逐位复现发送方的分布才能反解。 在 Gemma-2-9B-it、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 三个发送方上,算术编码与 Discop 在发送方自身路径重放时解出全部消息;换成另一块 GPU 重放、int8 或 NF4 量化、或同族更小模型时两者都解出为零,算术编码在同模型整段打分时也解出为零,Discop 同模型整段打分只解出 0.5–1.5%。

发送方用带密钥的指数竞赛为每个词元抽噪声,概率略有差异的接收方几乎总选出同一个词元,失配只影响该位置本身的证据。 指数竞赛把每个词元的得分与独立噪声比较,取代了会跨位置传递状态的区间编码,因此一次错选不会污染后续所有词元。 消息为 32 位载荷加 16 位 CRC,按词而非词元分配脊柱值,接收方对整段文本做一次教师强制打分后用束搜索解码;在 200 篇 CNN/DailyMail 文章、每条件 200 条消息上,同族各配置均达到 200/200,最差的 Gemma 2B 接收方不超过 384 个词元。

启示与展望

演示范围是三个模型族的 7–9B 发送方、200 篇 CNN/DailyMail 文章上的 32 位载荷,接收方覆盖同族 bf16、fp16、fp32、int8、NF4、同族更小模型以及另外两个模型族,硬件为 NVIDIA A6000 与 H100。

安全性证明依赖 HMAC-SHA256 与 ChaCha20 被视为伪随机函数的假设;发送方自身的可解码检查只对配置接近的接收方可靠,跨族接收方在发送方停止点只能解出 12.5–90.5% 的消息,需要更多文本。