跳到主要内容
检索

# 海森-向量乘积

2 篇关联报道

订阅更新
  1. arXiv

    跟踪微调轨迹发现:安全对齐的LLM在窄域微调中并非被“转向”有害,而是安全子空间被侵蚀,投影掉有害梯度子空间可在Qwen2.5-14B-IT上把自由生成涌现失准压低最多80.0%

    该工作对涌现失准(EM)做了动态二阶几何研究:追踪训练轨迹发现方向性Hessian曲率集中在语义枢轴token上,Grassmann投影显示有害-安全差距扩大主要源于安全梯度重叠下降而非转向新的有害回路,据此提出参数级几何缓解框架,把经验有害梯度子空间从LoRA更新中正交投影掉,在Qwen2.5-14B-IT上把自由生成EM压低最多80.0%,并在四个开放权重指令模型家族(3B–20B)中通过教师强制评估显示同一有害子空间控制着冻结EM响应的条件支持度。

  2. 用随机投影的 Hessian-向量积替代完整 Hessian 监督,训练误差接近全二阶方法而每轮提速逾 24 倍

    作者提出投影 Hessian 学习(PHL),用基于 Hutchinson 迹估计的 Hessian-向量积(HVP)随机投影替代显式 Hessian 构造来监督机器学习原子间势(MLIP)的二阶曲率,在 ωB97XD/6-31G(d) 生成的反应物、产物、过渡态、IRC 与简正模采样数据集上比较 E-F、E-F-HVP(one-column 与 Hutchinson)和 E-F-H 四种方案,发现按小批量随机重采样探针向量时两种 HVP 方法在能量、力、Hessian 精度上与完整 Hessian 训练统计上不可区分,同时每轮训练提速超过 24 倍;在每分子仅一个固定 HVP 的更现实情形下,Hutchinson 投影在远离平衡的几何上持续

已读完全部报道