跳到主要内容
检索

# 低秩安全子空间定位

1 篇关联报道

订阅更新
  1. arXiv

    LLaMA-2-7B-Chat 中仅改动 down_proj 的 0.19% 权重即可把攻击成功率推高到 53% Basic ASR 与 56% GCG ASR,而 tinyBenchmarks 准确率仍为 51.6%

    该工作研究 LLaMA-2-7B-Chat 的安全敏感行为是否集中在稀疏参数子集内,采用低秩安全子空间分析与参数级安全—效用重要性筛选两种定位方法,发现安全敏感性在网络中高度不均匀,MLP 的 down_proj 始终是最突出的安全敏感组件,o_proj 贡献较小;在参数级定位下仅修改 down_proj 中 0.19% 的模型权重即得到 53% Basic ASR 与 56% GCG ASR,而 tinyBenchmarks 准确率为 51.6%,未修改基线为 52.2%。

已读完全部报道