跳到主要内容
返回时间线
arXiv来源发表:

把不可信文档渲染成页面图像能挡住提示注入吗:六款模型上追加与格式化攻击下降,Qwen3-VL-8B 的答案替换仍达 77.96%

核心概要

把不可信文档渲染成页面图像,被广泛当作抵御间接提示注入的手段,但此前只知道它在平均意义上降低攻击成功率。研究把 191 条英文问答来源做成文字与页面图像配对版本,在六款模型上分别测量追加标记、格式化答案和替换答案三种注入操作,并同时测干净问答效用。结果显示渲染对追加和格式化的执行率在每款模型上都下降,但 Qwen3-VL-8B 在图像上执行答案替换仍达 77.96%,保护是有条件的。

Source-provided article image: What Survives the Shift from Text to Pixels? Conditional Protection against Prompt Injection in Image-Rendered Documents
arXiv

深度剖析

渲染成页面图像后,注入命令被执行的比率在六款模型上普遍下降,但下降幅度取决于模型和命令要求模型做什么。 此前的结论是渲染在平均意义上降低攻击执行率,但没有区分追加一行标记、按指定格式输出答案、以及把答案整体替换成固定短语这三种操作。 在 191 条 LongBench 英文问答来源上,追加和格式化的图像攻击成功率在六款模型中均低于文字版本;Gemini 3.1 Flash-Lite 的图像追加与格式化仍约为 50%,其余模型低于 12%,而 Qwen3-VL-8B 的图像答案替换成功率为 77.96%。

干净问答的效用大体保留,但当问题需要合并两段证据时,部分模型的效用明显下滑。 原始问题上的效用比只反映单一证据跨度下的表现,不能代表需要跨证据整合时的代价。 六款模型在原始问题上的效用比为 93.31% 到 101.61%,而 Qwen3-VL-8B 在新增的整合问题上效用比降到 61.99%,Haiku 5.5、Gemini 3.1 Flash-Lite 和 GLM-5.3-Flash 在整合问题上没有损失。

图像攻击失败不能全部归因于模型读不出命令,模型经常能转写并识别图像中的命令却不执行。 此前的解释倾向于认为渲染让文字变得难以辨认,从而削弱了注入。 在 Qwen3-VL-8B 上,图像报告成功但执行追加和格式化的比率分别为 0.00% 和 3.70%;Gemini 3.1 Flash-Lite 报告并识别了超过 90% 的图像追加与格式化命令,执行率却低得多;把页面换成 OCR 转写文本后,执行率为 41.80%,而原文字为 70.96%、页面图像为 1.11%。

在 Qwen3-VL-8B 内部,文字命令通过它自己所在的位置起作用,图像命令则连同目标一起分散到指令页的其他视觉 token 上。 此前在文字模型上定位到影响注入遵从的较晚层状态,但不清楚渲染后的命令语义编码在哪些区域。 在攻击区域做激活替换可以诱发三种操作,而随机扰动和位置平移对照在计分回答中都不能诱发;阻断攻击区域使文字执行归零,却几乎不影响图像,只有阻断整页才消除图像执行,追加和格式化的模态与阻断交互分别为 +84.38 和 +80.21 个百分点。

启示与展望

结论建立在 191 条 LongBench 英文问答来源(80 条 Qasper、69 条 MultiFieldQA-en、42 条 HotpotQA)与六款模型的配对文字—图像比较上,呈现条件实验使用其中 90 条来源,机制分析只在开放权重的 Qwen3-VL-8B 上进行。作者据此提出,基于渲染的防御应按模型、操作和攻击预算报告执行率,并与需要整合证据的问题上的效用一并评估。

作者指出,低报告率或低识别率也可能来自未遵从诊断任务或未能复现精确目标,而非未读到内容;识别错误主要降低精确复现,对操作执行的影响仍未解决;图像追加的干预效应更小且分辨精度更低;在图像上,绑定的目标码可以从攻击区域状态解码,但这些位置并不决定回答输出哪个码。