跳到主要内容
检索

# 机制可解释性

17 篇关联报道

订阅更新
  1. arXiv

    跨层TopK把稀疏预算交给模型分配:同等激活数下重建误差低于逐层TopK,训练每步快2.9倍

    跨层转码器(CLT)要把大模型各层激活拆成可解释特征,但每层重建难度差别很大,逐层TopK给每层固定激活数并不合适。字节跳动Seed等提出的Cross-Layer TopK把全部层的潜在特征放在一起排序,每个token只保留总量固定的K个,由模型自己决定各层分多少。在Qwen3-8B-Base上,它与逐层TopK同为每token 360个激活,验证集FVU从27.64%降到27.07%,并配合稀疏解码把训练步时间缩短到原来的约三分之一。

  2. arXiv

    可解释性结论何时可信:特征维度会跳变,岭正则版本在12个玩具模型上给出同一判定

    机制可解释性常靠带阈值的数字支撑安全结论,而权重、随机种子或阈值的微小变化就可能让结论翻转。这项工作在已知真实特征的玩具模型与合成字典上刻画了特征维度不连续的确切位置,并用岭正则版本替换它,证明其稳定性常数随特征尺度增长且系数最优。在12个训练好的玩具模型上,岭正则求和规则在预先设定的21个平滑参数取值上给出同一判定,而忽略短特征向量的版本对其中两个模型给出相反判定。

  3. arXiv

    Glyph把临床基础模型的隐向量拆成可读概念:在腹部CT队列里找到397个可复现的预后标记

    Glyph把临床基础模型的高维嵌入拆成稀疏、可命名的概念,让这些原本纠缠在一起的特征能像临床变量一样被检验。研究在41,628名患者的腹部CT、影像报告和化验数据上测试了604,185个概念—结局配对,得到397个高风险概念和4,463个Bonferroni显著关联。多数关联在三个留出队列中无需重新校准即可复现,且前十概念在合并留出队列中的复现率高于文献检索得到的标记。

  4. arXiv

    小Transformer学无限Coxeter群语言:注意力图样先提示两条词论命题,再由人证明

    一个单注意力层的小Transformer被训练来预测无限Coxeter群Ã₂中群元素的左、右下降集,也就是最短词可能的首字母与末字母集合。训练数据从随机词、约化词换到ShortLex正规形词后,测试准确率随结构增强而提高:随机词与约化词数据分别在某个长度处开始退化,而包含全部长度不超过36的1,998个ShortLex词的集合上未见退化。观察训练后模型的注意力图样,研究者提出并独立证明了关于右下降集与左下降集的两条词论命题。

  5. arXiv

    雅可比透镜为何偏爱慢变特征:理论把它的选择写成三个相干性因子,并在玩具模型上预测排序

    雅可比透镜(J-lens,一种把模型隐状态解码成词的可解释性工具)此前被用来寻找类似工作记忆的线性方向,但没人说清它究竟按什么标准挑方向。这项工作给出一个数学理论:透镜优先选出在层间增长、在词位置上平滑、在不同上下文中一致的方向,也就是相干性高的李雅普诺夫模式。在贝叶斯滤波器和一个两层玩具 Transformer 上,调节任务参数改变相干性,透镜选出的潜在状态排序随之按预测改变。

  6. arXiv

    MoE专家不再按领域标签归类:SAE把贡献拆到特征层,Java与前端各占专家

    字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器(SAE,把层输出重建为一组稀疏可解释特征的字典),利用编码器对专家输出的仿射性,把每个特征的激活精确拆成各专家的贡献。按语料平均后,每个专家得到一组它主要驱动的特征;这些特征多数只有一到两个主导专家,且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。

  7. arXiv

    神经元之间的因果联系不再只画成两两连线:有向单纯复形把成组抑制的联合效应也记下来

    神经网络内部的特征常由一组神经元协同表示,只画两两连线的电路图会漏掉成组抑制带来的联合效应。新方法把网络当作结构因果模型,用沿神经流形的反事实消融逐步压低一组神经元,再按统计显著性把有因果联系的神经元组建成有向单纯复形。在两个手工构造的小型多层感知机上,复形恢复了设计好的特征通路;其1-骨架与ACDC、EAP、EAP-IG保留的、权重图能表达的边一致。

  8. arXiv

    开源后训练配方让模型对低职位发帖人更苛刻,七个商用模型未见此偏向

    同一批随机化发帖人资料的核查任务上,开源 Tülu-3 后训练配方让 OLMo-2 32B 与 Tülu-3 70B 对低职位发帖人的说法更常判为不实,效应不到一个百分点但统计可靠,且能通过训练漂移检验并在独立声明集上复现;Meta、阿里巴巴和 Mistral 的配方没有产生这一偏向。在 OLMo-2 32B 中,模型并未更注意职位,而是把低职位从推向“真”改为推向“假”,这一翻转由单一残差流方向承载,发生在监督微调阶段。七个已部署商用模型都没有表现出对低职位发帖人的额外怀疑。

  9. aclanthology.org

    不训练也能让模型更少顺从有害请求:放大三组内部组件,攻击下安全率从43.2%升到69.7%

    研究把大模型拒答行为拆成一条跨层通路:前中层的“有害检测头”识别输入中的有害词,中后层的“安全神经元”在残差流中传递并稳定这一信号,后层的“拒答头”据此生成拒绝。对这三类组件做不改变架构的权重缩放后,六个模型在GCG攻击下的平均安全率从43.2%升到69.7%,四个标准基准上的平均准确率只下降1.7%。

  10. researchsquare.com

    离散对数也能顿悟:42.7万参数模型先背下答案,再在素数阶群上泛化

    一个42.7万参数的两层Transformer在有限域离散对数映射上出现了顿悟:先长期记忆,随后在p=113上把留出测试准确率推到99.8%。研究进一步做了从9万到1440万参数的12个模型容量扫描,顿悟在多个规模上重现,中间存在一段随训练数据量改变结果的非单调区间;隐藏状态在泛化时逐渐对齐乘法特征结构,素数阶子群与训练中未见生成元的对照也保持成功泛化。