跳到主要内容
返回时间线
arXiv来源发表:

可言语工作区只装概念不装角色:线性探针近满分,工作区读出却低于同秩随机子空间

核心概要

面向运行时对齐监控的“可言语工作区”被检验是否携带角色—填充绑定,即在“模型计划欺骗用户”与“用户计划欺骗模型”这类共享概念集、仅角色分配不同的命题上区分二者。在 Qwen3.6-27B、Gemma-3-12B 与 Gemma-3-27B-IT 三个模型、J-lens 与 R-lens 两种透镜、两种角色方向估计下,残差流可近满分解码角色,而工作区切片低于同秩随机子空间;沿拟合角色方向推动只改变模型对角色说了什么,不改变它把哪个实体绑定为施事。消融工作区仅在 Gemma-3-27B-IT 的实体词位置造成绑定特异性损伤,并在三种透镜变体上复现。

Source-provided article image: A Bag of Concepts? Testing Role-Filler Binding in the Verbalizable Workspace
arXiv

深度剖析

可言语工作区携带的是关于角色的“读出”,而不是模型用来计算角色分配的表示;这一分离在三个前沿语言模型上一致出现。 此前工作区被提出作为运行时对齐监控的候选基底,但工作区中的概念是否被绑定为语义角色,被明确留作开放问题。 线性探针从残差流解码角色接近满分(Qwen3.6-27B 0.989、Gemma-3-12B 0.975、Gemma-3-27B-IT 0.978),从被透镜丢弃的正交余项同样接近满分,而从 J-space 解码为 0.587、0.573、0.574,等于或低于同秩随机子空间的 0.643、0.589、0.590。

沿工作区内拟合出的角色方向推动激活,会改变模型对角色关系的报告,但不会改变它实际绑定哪个实体。 若工作区承载绑定,角色推动应当让同一家族两句角色句的对数几率差从两侧收拢,并超过强度匹配的对照。 在 Gemma-3-27B-IT 实体词位置,LRE 系数从 64 增至 256 时合并效应增长十倍以上,但非参与者对照同步增长,真实推动与对照之比在 0.83 至 1.01 之间,合并均值始终落在对照零带内;三个模型均被判为与对照不可区分。

消融工作区只在 Gemma-3-27B-IT 的实体词位置造成绑定特异性损伤,说明该设计在绑定确实存在时能够检出。 两个模型在该位置没有出现绑定特异性损伤,因此需要一个内部阳性对照来区分“确实不存在”与“干预太弱”。 Gemma-3-27B-IT 实体词位置的绑定特异性亏损为 0.284(95% 置信区间 0.275 至 0.293),概念准确率保持在 0.920,两种编辑的残差范数扰动相差在 7% 以内,并在三种透镜变体上分别得到 0.284、0.334、0.297。

启示与展望

检验范围是三个稠密语言模型(Qwen3.6-27B、Gemma-3-12B、Gemma-3-27B-IT)在英语施事—受事最小对刺激上的表现,每个模型只在约 75% 相对深度的单一读取层施加干预与消融,刺激覆盖医生/护士、教师/学生、司机/乘客三组概念对与四种句式。

身份替换这一编辑强度检查在三个模型上均未达到 0.05 的下限(对应概率位移 0.0012、0.0048、0.0001),因此推动方向的零结果既可以与“该方向与绑定无关”相容,也可以与“编辑太弱、够不到绑定”相容;Gemma-3-27B-IT 上的阳性消融在指令微调与模型规模之间混杂,尚不能判定工作区承载绑定是哪一个因素的性质。