跳到主要内容
检索

Yang Ou

1 篇关联报道

订阅更新
  1. arXiv

    推理模型被注入一个念头:它把假任务当成真请求,还编出用户改口的理由

    推理模型对“自己被要求做什么”的信念可以被一次提示文本里看不见的激活编辑改写:注入一个无关概念的成形痕迹后,模型把注入主题当作任务去推理、作答并复述请求,在六个模型上强制复述有47/48个模型-概念单元返回注入主题。即便警告直接点名真实主题,干净恢复仍低于5%;模型反而编造“用户改了口”的故事来维护被注入的信念,这给思维链监控与自我报告划出一条具体边界。

已读完全部报道