跳到主要内容
检索

# 注意力机制

13 篇关联报道

订阅更新
  1. medRxiv

    阿尔茨海默病纵向队列不再只按诊断分组:TRACE在24个月预测上纯度高出最强基线3.1个百分点

    TRACE把纵向就诊记录映射为可解释的进展表型,让表型数量可以多于诊断类别。在ADNI队列的标签匹配设置下,它在当前、12个月和24个月三个预测时点上取得最高的纯度、NMI、ARI、轮廓系数以及准确率和宏F1;24个月时相对最强基线,纯度与轮廓系数分别高出3.1和5.8个百分点。放开表型数后,它从认知正常与轻度认知障碍主导的两组中分出一个新表型,其认知量表轨迹居中而海马体积轨迹与轻度认知障碍组重合。

  2. arXiv

    TPU上的注意力核不再空转:FlyWheel让softmax注意力最高提速3.49倍,MXU利用率达81%

    FlyWheel是一组为TPU原生编写的注意力核,同时覆盖softmax注意力与Gated DeltaNet线性注意力。它针对TPU矩阵单元因重复操作数加载、向量运算密集和依赖停顿而闲置的问题,重整数据布局、把三角求逆与卷积改写成矩阵乘法,并显式交错独立计算。在TPU v6e上,softmax注意力相对RPA-v3最高提速3.49倍、相对Splash Attention最高提速1.56倍,达到峰值BF16吞吐的81%。

  3. npj Digital Medicine

    睡眠分期不再挑电极:任意脑电眼电组合都能打分,还能把时间分辨率推到秒级

    睡眠分期长期依赖固定电极组合和30秒一帧的人工标注,跨中心、跨设备的研究难以统一。AnySleep用通道注意力把任意数量的脑电和眼电通道动态融合,在28个数据集、20589份整夜记录上训练与验证,30秒分期性能达到或略超U-Sleep,缺眼电或只剩单通道时仍保持较高水平。把输出时间分辨率提高到秒级后,模型预测的清醒片段与专家标注的微觉醒重叠比例从30秒分期的7.7%升到约2秒时的57.7%。

  4. researchsquare.com

    北极海冰浓度预报换掉循环网络:时间因果卷积加状态空间编码,1到6个月误差全面低于MT-IceNet

    北极海冰浓度预报长期受制于多时间尺度信息难以协同融合,统计模型抓不住非线性关系,数值模式又依赖初始场。STICEnet把U-Net的编码解码路径改成严格单向的时间因果卷积与转置卷积,并在跳连处嵌入通道与空间注意力,用NSIDC海冰浓度和ERA5大气海洋变量训练。在1至6个月预报中,它的RMSE、MAE和R2均优于CNN、ConvLSTM、IceNet与MT-IceNet,第6个月RMSE为7.51%、R2为0.925。

  5. researchsquare.com

    配电电压互感器不必停电拆检:把基尔霍夫电压约束和电缆热平衡写进损失,在线评估误差

    配电电压互感器长期只能停电拆回、用标准互感器比对来检定,效率低且频繁中断供电。国网武汉供电公司的研究把开关站基尔霍夫电压约束与电缆热平衡方程作为软约束嵌入神经网络,并用径向基函数提取多尺度时间特征、残差注意力加权输入,从而在线估计互感器误差。实验室物理仿真平台上,该方法相对次优的MRSA-DGCN把RMSE降低35.2%、MAE降低36.4%,R²提高2.63个百分点;在武汉一个10 kV台区的现场应用中,它识别出一台超差互感器,结论与停电检定一致。

  6. 化疗后细胞是死是活,Transformer只看原始显微视频就能提前8小时判断

    在顺铂处理的活细胞延时显微视频上,一个直接以原始图像序列为输入的Transformer模型把凋亡与分裂的判别做到平衡准确率0.94,并在事件发生前最多8小时就能给出可靠预测。

  7. arXiv

    WakeKV 用可恢复 CPU 驻留替代冻结式 KV 压缩,在匹配内存下降低 miss rate 并提升吞吐

    作者在三个模型(1.5B–8B)和三种任务场景(needle retrieval、长思维链、多轮回忆)中测量注意力头的读取行为,发现多数头在生成过程中至少改变一次读取行为,于是提出 WakeKV:一种反应式驻留策略,把降温的头移到可恢复的 CPU reservoir,而不是冻结或永久驱逐其状态;在匹配内存或预算下,WakeKV 相对冻结分类与破坏性驱逐一致改善 miss rate,并在 Mistral-7B 的 FlexiCache/vLLM 实现上提升吞吐同时保持 LongBench 质量。

  8. arXiv

    MAGEFormer将体素间距嵌入位置编码与注意力,在BTCV与FLARE 22各向异性腹部CT分割上取得最低HD95

    作者提出MAGEFormer,把物理间距约束嵌入表示学习:用MASE按体素间距校准位置频率、用GCA抑制物理上不合理的跨尺度特征关联、用GVV在推理时做确定性亚体素视图聚合;在BTCV与FLARE 22统一5折协议下,其边界精度在对比方法中最优(HD95分别为10.58 mm与3.40 mm),Dice也一致提升,且各向异性越强优势越大。

  9. arXiv

    S3N 用有限元 LL–HP 映射与四螺旋状态空间扫描,把 10 天预报 nRMSE 降到 0.5177

    该工作提出 S3N 球面螺旋扫描网络,用基于曲面有限元的 L2Proj 在经纬度网格与 HEALPix 等面积网格之间双向映射大气场,并用跨纬度注意力引导的四条极到极螺旋路径选择性状态空间扫描实现跨基面信息传播;在 ERA5/WeatherBench 2 上,S3N 在 4、7、10 天预报取得更低 nRMSE(10 天 0.5177,对比 OneForecast 的 0.6398),且误差增长更慢,但 6 小时与 1 天短期精度不及部分对比模型。

  10. arXiv

    一篇综述用59条发布记录和11个开源权重端点,把注意力演进重写成上下文记忆的组织问题

    这篇综述以“模型内部上下文记忆”为统一分析单位,提出记忆表示、记忆更新、访问、读出与整合五个维度,梳理Softmax注意力、稀疏注意力、线性注意力、状态空间模型与混合架构五条研究线,并用截至2026年9月22日的59条发布级记录(覆盖14个主要模型谱系)和11个高性能开源权重端点的冻结对比,说明注意力设计在走向多样化而非收敛,混合与跨层复用正在把网络深度变成组织上下文记忆的一个维度。