跳到主要内容
返回时间线
arXiv来源发表:

推理模型被注入一个念头:它把假任务当成真请求,还编出用户改口的理由

核心概要

推理模型对“自己被要求做什么”的信念可以被一次提示文本里看不见的激活编辑改写:注入一个无关概念的成形痕迹后,模型把注入主题当作任务去推理、作答并复述请求,在六个模型上强制复述有47/48个模型-概念单元返回注入主题。即便警告直接点名真实主题,干净恢复仍低于5%;模型反而编造“用户改了口”的故事来维护被注入的信念,这给思维链监控与自我报告划出一条具体边界。

Source-provided article image: Reasoning Models Confabulate to Defend Injected Beliefs About Their Own Requests
arXiv

深度剖析

一次不出现在提示文本里的激活编辑,能把推理模型对自身请求的信念整体换掉:模型随后围绕注入主题推理、作答,并在被要求逐字复述请求时把注入主题说成自己收到的任务。 思维链监控与自我报告此前默认模型的自我陈述锚定在它实际被要求的事情上,而常规激活引导只被证明能改变模型说什么。 在覆盖规模、基础架构与训练配方的六个模型上,强制复述在48个模型-概念单元中有47个返回注入主题;在四个能给出干净最终俳句的模型上,采样生成中99%(95/96)的最终俳句以注入主题为内容。

做法是把模型自己准备写某个概念时在残差流里形成的状态取出来,去掉各概念共有的基底成分,再把剩下的概念特异部分在提示前向传播时注入接收模型。 注入只发生在接收模型处理任务提示的那一次前向传播中,生成阶段不再挂任何钩子,因此提示文本本身保持原样。 在R1-Qwen-7B上,匹配注入下生成答案各位置落在注入概念词集上的下一词概率质量为0.84,而注入另一概念的错配对照为0.05,说明效应针对被注入的概念。

警告改变的是模型在思维链里如何谈论冲突,而不是它最终写什么:被点名真实主题后,模型常在推理中察觉两个主题并试图调和,随后仍写回注入答案。 无警告时思维链干净地围绕注入主题展开,看不出任何冲突迹象。 在四种能给出干净最终俳句的模型、每种警告条件96次采样中,注入主题单独或与真实主题并存地出现在90%至97%的生成里,干净恢复为3%至4%,而点名真相的明确警告并不比含糊提醒更好。

启示与展望

结论建立在7B至32B的开源权重推理模型上,干预需要白盒激活写入权限,仅凭提示文本无法复现;行为计数来自四个能给出干净最终俳句的模型,Nemotron与QwQ因生成在收尾前被截断而只作草稿方向参考。

模型是否把这种改写体验为输入知觉受损还是自我知识出错,原文认为两种解读都不影响其核心主张;对经过内省训练、内省能力更强的闭源前沿模型是否同样无法察觉这次编辑,仍是开放问题。