跳到主要内容
检索

# 潜在反馈

1 篇关联报道

订阅更新
  1. arXiv

    潜反馈让每个FLOP更值钱:同等算力下最多省48%,同等轮数下最多省47%唯一数据

    潜反馈Transformer把每个词元顶层状态送入下一个词元的输入,此前只在固定训练词元数下与普通Transformer比较,没有考虑重复数据。研究在60M到778M参数、12.5到400唯一词元/非嵌入参数、1到4轮的网格上,对两种模型在每个规模和数据量下分别调参,发现唯一数据充足时潜反馈用更少算力达到同样损失,固定轮数时用更少唯一数据达到同样损失,两项节省都随每参数唯一数据和重复轮数增长。拟合的缩放律在留出的778M规模上把损失预测到0.3%以内、把两模型差距预测到0.05%以内。

已读完全部报道