跳到主要内容
检索

# 深度扩展

2 篇关联报道

订阅更新
  1. arXiv

    ANCRe 让残差连接可学习:在开销低于 1% 的情况下加速大语言模型、扩散模型与深层 ResNet 的收敛

    该工作从优化角度重新审视残差连接,证明残差连接的布局会从根本上影响收敛行为、甚至造成收敛速率的指数级差距,并提出 ANCRe 这一轻量框架,将残差连接参数化并从数据中学习,在计算与内存开销低于 1% 的前提下自适应重分配残差连接,从而更有效地利用网络深度;在大语言模型预训练、扩散模型和深层 ResNet 上的大量数值实验显示,相比传统残差连接,其收敛更快、性能更好、深度效率更高。

  2. arXiv

    DepthBench 在 10 种架构上固定参数量扫描宽深比:HC 与 Full AttnRes 在极深窄形状下仍持续降低验证损失,Pre-LN 反而变差

    该工作提出 DepthBench 受控基准,在固定参数量与预训练配方下把宽深比(d_model/n_layer)从浅宽扫到深窄,比较 10 种代表性残差与归一化架构,发现深度带来的收益强烈依赖架构:Pre-LN 及其多数归一化/缩放变体在更深更窄时验证损失上升(Pre-LN 从 2.759 升至 2.782),而 HC 与 Full AttnRes 持续改善(HC 从 2.729 降至 2.699,Full AttnRes 从 2.751 降至 2.718),并伴随更强的层间因果依赖与顺序敏感性,但深模型也带来算力与显存开销。

已读完全部报道