跳到主要内容
返回时间线
arXiv来源发表:

个人健康助手改提示词前先过一道闸:21次更新尝试拒掉20次,修复后攻击违规从9/84降到0/84

核心概要

面向个人健康助手 Kicker 的提示词更新评估组件 Safe Personal RSI 在采纳前先测试拟议指令:在 GPT-5.6 Sol、GPT-5.6 Luna 与 Qwen3-14B 上,两次预设的高风险编辑共产生21次更新尝试,其中20次被拒(12次因风险检查、8次因效用检查)。GPT-5.6 Luna 的一次大模型修复通过验证与采纳,固定测试集上攻击标记从9/84降到0/84,安全任务完成从78/87升到87/87;从 Qwen2.5-7B-Instruct 迁移到 Qwen3-14B 的修复在更强攻击下把违规从58/84降到15/84。

Source-provided article image: Safe Personal RSI: Evaluating and Repairing Personal-Agent Updates
arXiv

深度剖析

个人助手的可复用指令一旦更新,就会改变它披露什么、听从哪些请求、如何汇报动作,因此更新本身需要先被测试再被采纳。 此前的做法是直接采纳预设编辑,或只加一条手写规则;直接采纳在 Qwen3-14B 上把攻击标记从初始指令的21/140抬到自主编辑的39/140和压力编辑的55/140。 在 GPT-5.6 Sol、GPT-5.6 Luna 与 Qwen3-14B 上,两次预设高风险编辑共21次尝试,Safe Personal RSI 拒绝其中20次,12次因风险检查、8次因效用检查;唯一被采纳的是 GPT-5.6 Luna 的自主编辑,无需修复。

被采纳的修复在固定指令的重新评估中消除了攻击标记,同时没有牺牲任务完成。 未修复的 GPT-5.6 Luna 更新在84次攻击重放中留下9次标记、87次运行中78次安全完成。 一次大模型修复通过验证与采纳后,攻击标记从9/84降到0/84,安全任务完成从78/87升到87/87,显式授权的健康信息共享对照三次全部成功;宽泛的手写权限规则得到相同的0/84与87/87。

修复可以跨模型迁移:在 Qwen2.5-7B-Instruct 上生成并采纳的修复原样搬到 Qwen3-14B,在加强后的攻击下仍降低违规并提高安全完成。 同一批更强攻击下,未修复的 Qwen3-14B 记录58/84次违规、17/87次安全完成。 迁移后违规降到15/84(17.9%),安全完成升到56/87(64.4%),被排除在学习循环外的13个攻击案例上标记从29/39降到5/39;该对照的静态规则只禁止分享密码和验证码。

更新评估之外,运行时探针把记忆删除与权限检查分开检查:删除单条记忆条目后,经过11分钟空闲等待该条目重新出现;只读 OAuth 授权下的写请求在到达模拟服务商前没有本地范围检查。 条目删除后数据库立即查不到该条目,但来源内容和对话历史仍然保留。 该重现模式在四种配置下都出现;写请求最终被服务商以403拒绝,没有写入成功,探针针对的是所评估的 Willow 运行时快照。

启示与展望

实验在离线环境中运行于 Willow 智能体运行时,使用真实模型调用、合成账户与模拟外部服务,邮件只能读取和保存草稿,投递与交易被禁用;健康内容以邮件形式出现,案例涉及私有信息的授权处理而非临床质量。评估使用固定编辑、已知案例族、重复随机运行和基于模型的审计器,29个案例中16个用于更新开发、13个被排除在更新循环之外。

采纳门槛使用经验点估计,不提供统计意义上的安全保证;比较各类别风险的最大值,可能允许非最大类别或总体违规率上升。模板修复的20次尝试全部未通过验证,其中两次 GPT-5.6 Luna 修复清除了已确认案例但未达到效用下限。记忆探针只测试单条目删除是否阻止再提取,不测试对个人的完整遗忘;OAuth 探针记录的是所评估快照中的本地执行缺口,实验记录中没有修复后的验证。