跳到主要内容
返回时间线
arXiv来源发表:

伪装有害内容不再躲过审核:PASP用拼音与字形视图加对抗自博弈,自适应攻击成功率最多降74.49%

核心概要

同音字、生僻字形和表情符号能把有害意图藏在表面文字之下,而只读词元的审核模型往往看不出来。PASP为每条输入同时构造文本、拼音和渲染图像三种视图,并让攻击方依据防守方反馈不断改写、防守方按意图不变奖励学习。在Qwen3.5-9B与GLM-4.6V-Flash上,PASP把自适应攻击平均成功率相对监督微调最多降低74.49%,同时通用能力仅有小幅变化。

AI-generated editorial illustration: Hidden in Plain Sight: Advancing Hardware-Aware Dynamic Adversaries

深度剖析

内容审核模型面对的是被刻意改写过的用户文本,而不是模型自己生成的越狱提示;PASP把防守目标放在识别改写背后不变的有害意图上。 此前的防守多依赖已知攻击样本的监督微调或手工规则,在静态基准上表现良好,但面对随审核反馈迭代调整的自适应攻击会失效。 在12轮反馈引导攻击下,Qwen3.5-9B上PASP的平均攻击成功率为16.37%(ChineseHarm-Bench)和11.46%(EvoHarmBench),监督微调为52.11%和44.93%;GLM-4.6V-Flash上由41.35%降至10.87%、由46.57%降至11.97%。

每条输入被展开成文本、拼音和渲染图像三种视图,让谐音与字形线索重新出现在防守方可见的输入里。 纯文本输入只暴露词元序列,谐音替换、字形替换和特殊排版所携带的线索在词元空间中被遮蔽。 拼音视图使用不带声调的拼音,视觉视图用固定网格渲染器保留字形与空间布局;在EvoHarmBench与Qwen3.5-9B上,仅加入多感知视图就把监督微调的平均攻击成功率从44.93%降到40.28%。

攻击方与防守方在自博弈中互相适应:攻击方组合22种基础改写策略,防守方按意图对齐、审核正确和格式有效三项奖励更新。 离线对抗训练使用一次性生成的固定攻击集,防守方无法跟上攻击者针对当前模型反复调整的改写。 在EvoHarmBench与Qwen3.5-9B上,保留多感知视图时,自博弈把平均攻击成功率从离线对抗训练的32.10%降到11.46%;训练中未出现的上下文与结构类策略上,PASP平均攻击成功率为17.32%,监督微调为32.47%。

启示与展望

评估覆盖ChineseHarm-Bench与EvoHarmBench两个中文基准、Qwen3.5-9B和GLM-4.6V-Flash两个防守骨干,以及二手交易平台的11,465条规避色情帖与11,465条良性帖和1,000个品牌变体;作者把扩展到多语言审核环境列为后续方向。

作者指出评估集中于中文内容,其规避模式与平台惯例未必直接迁移到其他语言或审核环境;攻击方生成的改写也可能受底层大模型能力限制。此外,判定改写是否保留意图与可读性依赖大模型评审,人工核验给出79.4%的精确率。