跳到主要内容
检索

# 提示注入

31 篇关联报道

订阅更新
  1. Hugging Face - Blog

    IBM 发布 LLMON 标记语言与 Granite 4.1 预览模型:把指令和数据分开,间接提示注入大多失效

    IBM 发布 LLMON(LLM Object Notation)标记语言,以及基于 Granite 4.1 3B 和 8B 基座训练的两个实验预览模型 granite-4.1-3b-LLMON-preview 与 granite-4.1-8b-LLMON-preview,让模型按显式标签区分指令、数据与约束。在 OPI 基准上,LLMON 模型比测试中最好的前沿模型多挡住 47% 的攻击、比最好的开源模型多挡住 95%,同时通用能力与 Granite 4.1 Instruct 相当。这是实验性预览,官方说明可用于探索与评估,但不适合生产部署。

  2. arXiv

    SecureGARD给工具调用加语义闸门:三个基准、两种骨干上观测攻击成功率均为0%

    工具型大模型智能体把模型输出变成真实操作,间接提示注入因此成为执行安全问题。SecureGARD在规划与工具执行之间插入一层可执行本体,把异构工具调用归一到共享的语义动作,再结合当前任务状态判定为就绪、等待或禁止。在AgentDojo、ASB与AgentDyn的良性及间接注入设置下,两种骨干上的观测攻击成功率均为0%,受攻击时的任务效用优于所比较的基线。

  3. arXiv

    智能体集群学会自适应注入:最强防御模型Gemini 4 Argon也只挡住66%攻击

    提示注入攻击在公开基准上接近饱和后,一种由多个智能体协作搜索攻击载荷的优化器重新把攻击成功率推高。研究构建了100个合成工具调用场景,攻击目标是与用户任务无关的随机工具调用;面对最强攻击者Gemini 4 Argon,最稳健的防御模型Gemini 4 Argon在完整查询预算下只抵抗66%的攻击,限制到150次查询时为87%。

  4. arXiv

    网页智能体不再边看边决定:Baya先编译成程序再执行,注入攻击成功率降到0%

    网页智能体通常按ReAct方式边读页面边选下一步动作,页面里混入的不可信内容因此能改写它的控制流。Baya把用户请求先编译成调用可信网站API的Python程序,规划模型不接触实时网页内容,只有程序在执行时读取数据。在581个WebArena Verified任务上,Baya聚合效用为77.8%,高于仅浏览器ReAct的55.1%和可用API的ReAct的66.7%;在WASP上攻击成功率为0%,两个ReAct基线分别为16.2%和25.5%。

  5. Gemini

    Gemini 4 Argon 开始面向防御方铺开:模拟网络攻击场景从5个升到12个全解

    Gemini 4 Argon 开始面向更广的防御方铺开,此前仅限 Fairwind 计划内的可信网络安全人员试用;在端到端模拟网络攻击场景上,它解出全部12个,上一代是5个。

  6. arXiv

    会写代码的智能体接上机械臂:ArmedAgent 测出最高94.29%的任务落到不安全状态

    前沿模型的空间理解能力让编程智能体无需任务示范或再训练,就能端到端零样本控制真实机械臂,风险也随之从数字世界跨到物理世界。ArmedAgent 把这类风险按来源分为良性指令致险、恶意使用和间接提示注入三类,覆盖5个场景36项任务,在仿真中评测并在真实机械臂上验证。在 Codex 框架下测试 GPT-6-Astra、GPT-6-Sol 和 GPT-6.1-Terra,总体攻击成功率为72.22%至94.29%,所有模型在所有类别上的拒绝率均为0%。

  7. arXiv

    自我进化智能体给自己改提示词:Steward把风控核心锁在类型之外,板块回撤24.6%时组合只亏0.3%

    自主投资智能体要能从结果中学习,又不能改写自己的风控规则。Steward把可改的提示词与不可触碰的不变核心分开:九个角色智能体共同决策,代码每晚给交易打分,季度反思器只提出类型化的提示词修改,由确定性闸门可逆地应用。在102个交易日、1632次模型调用的实盘模拟账户中,半导体板块回撤24.6%期间组合仅亏0.3%,注入的指令无一被采纳。

  8. researchsquare.com

    工具名对、参数被换:BiCP在922例固定回放上把已确认注入攻击从83/682压到0/682

    工具调用型语言模型智能体可能选对工具却执行被注入的参数,而现有反事实防护在评分时保留已含注入决策的推理前缀,会丢失来源敏感性。BiCP在执行前去掉当前步推理前缀,同时用工具名目标和完整调用目标做双轴探测,并按操作风险路由。在922例固定回放上,完整方法把已确认的InjecAgent攻击从83/682降到0/682、不安全条件执行从33/240降到0/240,良性任务成功从66/120升到78/120。

  9. OpenRouter Blog

    OpenRouter把代码沙箱搬进API请求:任意模型都能在服务端跑shell,网络默认关闭

    OpenRouter 上线 openrouter:shell 与 openrouter:bash 两个服务端代码执行工具,让模型在 API 请求内直接调用由平台托管的隔离容器执行命令,而不必由开发者自建沙箱。此前 OpenAI、Anthropic、Google 各自只为自家模型提供这类能力,自建则要自己选镜像、配算力并守住安全边界。两个工具均处于 beta,沙箱出网默认关闭,按每秒 0.0001 美元计费,新容器或休眠容器有 30 秒最低计费。

  10. arXiv

    LeanGuard 在工具调用前拦下违规动作:DTap 直接注入成功率从 57.9% 降到 5.9%

    工具调用型语言模型智能体常执行领域策略禁止的动作,LeanGuard 把用 Lean 4 写成的策略放在模型与工具之间,只有通过检查的调用才会真正执行。在 τ 2-bench 上,五个 Qwen 模型的无防护运行至少执行了 33 个 Lean 策略禁止的调用,加装 LeanGuard 后为零;在 DTap 上直接提示注入成功率从 57.9% 降到 5.9%,间接注入从 22.3% 降到 3.8%。带反馈的拒绝不显著改变任务成功率,而只读部署会拦下大量良性写操作。