跳到主要内容
返回时间线
arXiv来源发表:

单历史隐写不再被分词歧义拖垮:coin projection 在满词表下保住九成字符串熵

核心概要

可证明安全的语言隐写要求接收端从纯文本还原发送端的词元,但同一段文本有多种分词方式,接收端重新分词就可能解错。此前 SyncPool 用前缀池保持分布精确,却在满词表下因空格和 UTF-8 首字节这类“枢纽”词元合并子树而损失容量。coin projection 用共享随机数预先固定每个前缀是否在此结束,只把根与子节点的选择留给编码器;在英语、中文、日语的 3–4B 模型上,它把 91–93% 的字符串熵留给编码器,满词表下利用率是 SyncPool 的 2.16–6.85 倍,且零误差。

Source-provided article image: Optimal Single-History Tokenization Disambiguation for Provably Secure Linguistic Steganography
arXiv

深度剖析

语言隐写可以把消息藏进语言模型采样的文本,使没有密钥的监视者无法把它与普通输出区分;但真实信道只传文本,接收端重新分词可能得到与发送端不同的词元序列,消息随之丢失。 此前的补救分三类:过滤器删掉候选以让文本唯一解析,代价是改变安全所依赖的分布;SyncPool 保持分布精确,但把前缀相关的词元并成池,词表一大容量就塌缩;多历史方案几乎保住全部熵,却每步要多次调用模型。 在 Llama-3.2-3B 上,从 top-16 到满词表,最大前缀树平均占 62% 到 88% 的概率,仅空格一个词元就产生 62–89% 的停止熵,SyncPool 可用的字符串熵份额从 80.4% 降到 14.1%。

coin projection 把每个前缀“是否在此结束”的决定交给发送端与接收端共享的随机数,编码器只需在根和子节点之间做选择,因此普通采样分布保持不变。 该方案在前缀森林上实现停止判定,是闭式构造,可与任意分布编码器配合,每个词元只需一次模型调用,并对每个密钥都细化 SyncPool 的编码器输入。 在英语 Llama-3.2-3B、中文 Qwen3-4B-Base、日语 llm-jp-3-3.7b 的 C4 续写上,每个设置 50 个提示、每条 64 个词元,歧义文本至多每千词元 11 个,而词与词素前缀的停止熵占每步熵的 7.2–9.0%。

满词表下,coin projection 在三种语言里都把绝大部分字符串熵留给编码器,并完整还原每一条完成的消息。 同一设置下 SyncPool 的利用率降到英语 12.9%、中文 43.3%、日语 33.3%,而 coin projection 保持 88.1%、93.6%、89.5%。 在 128 比特消息、温度 1 的配对实验中,coin projection 的利用率中位数达到 Native 的 92%、Stepwise 的 93%,与理论留下的 91–93% 字符串熵一致。

启示与展望

结论覆盖在线、单历史、零误差且对所有满支撑语言模型精确的方案,实验限于 3–4B 参数的三个基座模型、三种语言和两类分词器,消息为 128 比特、温度 1。

停止熵仍要付出,实测占熵的 7.2–9.0%;要超过这一预算需要多历史或非零散度。满词表下投影在 CPU 上每步 28.0 ms,而 3B 模型前向为 17.8 ms,且逐位一致依赖固定计算顺序。作者尚未在 4B 以上模型上端到端测量抽取。