跳到主要内容
检索

# 费舍尔信息矩阵

6 篇关联报道

订阅更新
  1. arXiv

    近场E-MIMO波束赋形改由Transformer只算流功率:直接推理1.11毫秒,校验修复后保留测试集可行率达100%

    近场超大规模MIMO通感一体系统的波束赋形通常要反复求解非凸约束优化,在线时延随阵列规模上升。PATBO把通信与感知波束方向按几何固定构造,只让Transformer预测各流的归一化功率,并用定位精度界(CRB)敏感度加权训练。在1024天线、4用户、2目标的保留测试集上,直接推理联合可行率为19.54%,经物理约束功率修复升到87.79%,再对剩余样本回退优化器后达到100%,单样本推理1.11毫秒。

  2. arXiv

    CANS 给每个前馈神经元单独定缩放系数:安全、毒性与幻觉三类控制同时保住通用能力

    大模型的行为控制常以牺牲通用能力为代价,CANS 把干预改成给每个前馈网络神经元分配一个缩放系数,系数同时计入该神经元对目标行为的贡献和它对通用输出的扰动。目标行为用模型回复中目标词元的对数概率作代理,能力保持用通用文本上的输出分布 KL 散度作代理,两者局部近似后得到闭式解,无需迭代训练,也不增加推理时计算。在 Qwen3-4B 与 Llama 系列上,CANS 在安全、毒性和幻觉控制中取得与 SFT、CAA 及神经元级基线相当或更好的转向效果,同时更好地保住 MMLU、BBH 和 IFEval 表现。

  3. arXiv

    EWC不再只守旧参数:FS-EWC先塑造解,再保护解,LoRA下多个基准优于EWC

    无回放的持续学习里,EWC只用保留解处的Fisher信息惩罚参数改动,却管不住参数走远之后的敏感度。FS-EWC把Fisher信息提前用于塑造当前任务的解:训练时压低邻域内最坏情况的Fisher迹,任务结束时用轨迹上多个检查点的平均构造保留锚点。在视觉与语言基准上,FS-EWC在对应EWC基线上普遍提升,全参数微调与LoRA两种设置都成立。

  4. 长谷川靖与大关真之在固定模型、采样器与步长下比较 Ising 与 QUBO 编码,发现 QUBO 的 Fisher 信息谱熵更低、SGD 收敛更慢,而自然梯度下降使两种编码收敛趋同

    该研究在固定玻尔兹曼机模型、模拟退火采样器与学习率设计的受控协议下比较 Ising({−1,+1})与 QUBO({0,1})两种变量编码,利用 Fisher 信息矩阵等于充分统计量协方差这一恒等式可视化经验矩,发现 QUBO 在一阶与二阶统计量之间产生更大的交叉项,使 Fisher 信息矩阵出现更多小特征值方向并降低谱熵,从而解释了随机梯度下降下 QUBO 收敛更慢,而按 Fisher 信息矩阵度量重标定更新的自然梯度下降因重参数化不变性使两种编码收敛相近。

  5. arXiv

    只用1%的token就能追平全量蒸馏:IER用梯度估计可靠性重排稀疏监督

    该工作把在线策略蒸馏(OPD)中的token选择问题重新表述为固定前缀下的梯度估计可靠性问题,在信息几何下把单样本反向KL梯度分解为信号与采样噪声,提出信息效率比(IER)作为最优标量基线下的信噪比,并用top-K候选集近似来排序token;在数学与医学推理任务上,IER单独作为选择器在0.1%–1%的极小token预算下接近或超过全量OPD,与已有有用性分数结合后(IER-OR、IER-AND)在多个设置下匹配甚至超过全量OPD。

  6. arXiv

    随机矩阵理论给出重构光谱仪的噪声误差闭式界,并在片上FDTD中预测出最优腔长17.9微米

    作者用Fisher信息与随机矩阵理论推导出混沌/扩散散射重构光谱仪噪声诱导误差的闭式表达,把方差下界σ²_ε Tr[(AᵀA)⁺]与光谱关联长度Γ_corr、平均透过率T₀以及频率通道数N和测量通道数M联系起来,给出超分辨条件,并用随机矩阵模型与全波FDTD仿真验证,其中片上器件的最优腔长预测为约17.9微米。

已读完全部报道