跳到主要内容
检索

# 自注意力

11 篇关联报道

订阅更新
  1. arXiv

    像素扩散不再靠注意力混合:Volterra 层在 ImageNet 各尺度上把 FID 压过 JiT

    像素空间扩散模型此前沿用从序列建模继承来的 softmax 注意力做 token 混合,而高斯噪声下的最优去噪器本可用观测的多项式泛函展开。PoD 把每个图像块压进低维瓶颈,再用级联的低秩 Volterra 层同时完成 token 混合与通道混合,残差路径上不放激活函数。在 ImageNet 上参数与 FLOPs 对齐时,PoD 在每个尺度上的 FID 都优于 JiT,最大差距出现在 G 尺度。

  2. bioRxiv

    冻结的脑电基础模型不必全量微调:只取第一层一个注意力头的连接矩阵,跨被试情绪识别平衡准确率42.13

    脑电基础模型REVE不再需要全量微调或整层池化特征才能做情绪识别。此前这类模型在跨被试任务上尚未稳定超过专用架构,且表征计算与存储代价高。该做法把第一层单个注意力头的注意力权重按试次聚合成通道间加权连接矩阵,再用无标签的对称性打分挑出信息量最大的头,在SEED-IV上以经典分类器取得42.13的平衡准确率,计算量比全层注意力池化少约176倍。

  3. aclanthology.org

    DoLa换用注意力信号选层:LLaMA-7B的MC2升至62.8%,但大模型MC1仍归DoLa

    对比解码DoLa靠输出词表分布的差异挑选浅层,Sakai等把选层信号换成自注意力分布,提出Attention-JSD、Attention-Entropy-Max与Attention-Entropy-Min三种策略,并保持DoLa框架不变。在TruthfulQA上,LLaMA-7B用Attn-Ent-Min取得MC2 62.8%、MC3 36.5%,高于DoLa的56.5%和30.5%;但LLaMA-33B与65B上DoLa的MC1仍最高,增益集中在多正确答案指标。

  4. arXiv

    流式联邦学习多通信反而更易过拟合:马尔可夫数据下泛化界随轮数按√R增长

    流式联邦学习让客户端从不断到达的数据流训练共享模型,但数据流往往有时间相关性。针对客户端数据服从马尔可夫过程的情形,一项分析用信息论与率失真方法给出了聚合模型期望泛化间隙的上界,并把它专门化到线性与自注意力下一词预测。上界显示:通信轮数增多会以约√(R/N)的量级放宽泛化保证,而时间相关性以混合时间的平方根进入;TinyStories 上的 GPT 式预训练与 ETTh2 电力预测实验都观察到训练、测试损失随轮数下降而泛化间隙变宽。

  5. researchsquare.com

    脑电注意力识别不再用固定电极图:动态图加自注意力,三分类到91.67%

    脑电注意力识别换掉了固定电极连接图。此前多频段特征靠简单拼接、通道关系按预设邻接矩阵处理,难以刻画任务中变化的通道耦合。DGCSA把电极当作图节点,用可学习邻接矩阵动态更新通道拓扑,并用自注意力补上全局依赖,同时以贝叶斯优化的频带权重融合功率谱密度与微分熵。在20名参与者、873段3秒脑电上,三分类准确率为91.67%,高于SVM、CNN与LSTM基线;VR场景的平均注意力得分也高于2D。

  6. arXiv

    Transformer 的每一层被读成一次 EM 迭代:注意力做置信传播,层间跳变充当参数更新

    Transformer 的注意力被解释为在逐样本变化的马尔可夫随机场上做最大积置信传播,层与层之间的参数跳变则充当 EM 的参数更新步,这一视角把自注意力、专家混合、门控单元和选择性状态空间模型归入同一类由输入生成参数的元模型。

  7. arXiv

    Universal Attention 用复合衰减门实现超 10 倍 KV-cache 压缩,并在 RULER 上超过未剪枝 Llama3

    该工作提出 Universal Attention,把查询感知、键感知与相似度三类衰减机制以几何平均组合成注意力矩阵的加性偏置,在保留 RoPE 与 Softmax 的前提下让模型自适应剪枝 KV-cache;在 1B、50B token 训练的 Llama3 架构上实现超过 10 倍压缩,RULER 平均分 50.3/49.3 高于未剪枝 Llama3 的 40.8,缓存仅 21.4/12.9 MB。

  8. arXiv

    不重训模型、只保留注意力权重最高的少量token,九个检查点的有效注意力集合大小从7到283不等,且上下文越长所需集合越大

    该研究在不重训模型的前提下,在每个头、层和查询处只保留注意力权重最高的若干token并保持其原始权重不变,通过测量负对数似然(NLL)的上升来估计维持给定损失容差所需的“有效注意力集合大小”,发现较小的集合即可让NLL接近全注意力基线、基于注意力的选择明显优于随机选择、所需集合大小随上下文延长而增大但其占上下文的比例下降,并且在固定标注支持事实的BABILong实验中,额外背景会把支持token挤下注意力排名并降低其注意力质量,而对保留权重做重归一化可大幅减小所需集合大小。

  9. arXiv

    视频扩散模型为何违反物理:研究者定位到RoPE空间锚定效应,仅缩放RoPE频率即提升物理常识

    该研究对文本到视频扩散模型的“运动规划”过程做了可解释性分析,发现自注意力中RoPE引起的过度空间注意力衰减会让早期候选区域过早锁定到物理上不合理的位置,并据此提出一种仅在不同去噪步上缩放RoPE频率的轻量架构改动,在免训练与基于训练的实验中提升了生成视频的物理常识。

  10. arXiv

    CalcSeg用置信度感知课程学习与切片自注意力,在单栈LGE-CMR上把心肌瘢痕分割Dice提升到0.677、低置信病例提升到0.644

    该工作提出CalcSeg,一个置信度感知的潜在3D上下文课程学习框架,用Dice、瘢痕负荷百分比误差与蒙特卡洛Dropout估计的认知不确定性自动为每个样本打分,按阶段从易到难扩展训练集,并用切片级自注意力从单栈2D LGE-CMR推断受试者级3D解剖上下文;在来自四个中心与两个分割挑战(MICCAI 2012 LV Infarct、EMIDEC 2020)共976例患者的LGE-CMR数据上,其心肌瘢痕Dice达0.677±0.24、低置信样本Dice达0.644±0.22、瘢痕误差38.88%、低置信样本瘢痕误差35.03%,优于TransUNet、AttentionUNet、UNETR、ScarN