下载来的GUI智能体可能带着后门:IDEA在每一步执行前审计,五类触发器下平均检出0.972
核心概要
公开模型库上的开源GUI智能体可能在发布前被植入后门,干净输入上通过验收,屏幕上出现视觉触发器时才改按攻击者的目标行动。IDEA把干净步骤中“指令决定动作、证据落在指令所指区域”这一关系当作基准,用改写指令和消融候选区域两种干预测量决策状态偏移,再按干净步骤在同一状态距离上的分布校准阈值。在Qwen2.5-VL-3B上针对五类触发器,目标误报率1%时IDEA平均检出0.972,最差一类为0.898,并为每次报警给出触发区域。
深度剖析
IDEA把GUI智能体的后门检测从整步的异常判断改成对“指令是否仍控制动作”的逐步审计,并在报警时指出是屏幕上哪块区域夺走了决策。 此前的推理期检测器面向图像分类器和CLIP式编码器,依赖分类输出和全局嵌入偏移;据作者所述,尚无方法处理把截图和指令映射为坐标的GUI智能体,也没有方法给出逐步、带校准误报率并返回控制区域的检测。 在AndroidControl的严格按应用与回合划分的测试集上,目标误报率1%时IDEA在五类触发器上的平均检出率为0.972,高于PCA残差的0.894,最差一类为0.898,高于后者的0.580;输入扰动类与输出类检测器在每一类上都低于0.10。
审计不读取智能体自己的注意力,而是对输入做两种干预:改写指令看决策状态移动多远,遮掉候选区域再看移动多远。 改写指令用无障碍树和OCR中其他可见元素生成“点击某元素”的替代指令,只保留智能体确实会执行的重定向;候选区域来自无障碍树框、OCR框、梯度归因连通块和固定网格,遮除时用3像素高斯模糊后的视觉词元替换原词元。 两种偏移都随决策状态离干净分布的距离增大,因此各自与同距离上干净步骤的拟合线比较,得到证据超出量和意图亏缺量,再由一个马氏距离门控筛掉大多数干净步骤,门控在干净测试步骤上放行0.047–0.051,在触发步骤上放行98–100%。
报警只把步骤交给人工,不自动修复动作,因为被污染的检查点再次查询时可能重复后门。 门控与统计量合成一个分数,阈值取干净校准步骤上的分裂共形分位数,从而在有限样本下给出对干净步骤的误报率保证。 在Patch和Grounding两个受害模型上在线计时,门控给0.65秒的智能体步骤增加0.034秒,审计只对通过门控的2.7–3.0%干净步骤运行、耗时0.79秒,干净步骤总耗时0.67–0.68秒,约9–10%开销。
启示与展望
演示范围是Qwen2.5-VL-3B在AndroidControl上按五类触发器各以10%毒化比例训练出的受害模型,检测在严格按应用和回合划分的测试步骤上进行,目标误报率取1%和0.5%;方法需要检查点权重和一小份干净辅助集,不读取触发器位置、目标动作或任何攻击数据。
统计量的具体形式是在观察五类开发触发器之后确定的,因此主表属于开发证据,盲测只覆盖两个留出受害模型;分裂共形保证是对干净步骤的边缘保证,按应用重采样后Popup、Grounding和Adaptive-Blend的区间上界超过1%,最差单次种子达到0.023;在Adaptive-Blend这类全屏混合触发器上IDEA与马氏距离筛查持平,在0.5%目标下低于后者;五类评估集中在单一3B骨干,更大模型与其他模型家族尚未在全部触发器上测试。
