跳到主要内容
检索

# 多时间尺度指数滑动平均状态

1 篇关联报道

订阅更新
  1. arXiv

    递归小模型砍掉双层状态:STRM在数独极难集上以同等算力超过TRM

    递归小模型TRM靠高、低两层状态和嵌套循环来避免记忆化,结构复杂。STRM把两层状态换成一个状态,用一组固定速率、按对数间隔排列的指数滑动平均通道来更新,并且只从更新最慢的通道读出答案。在相同数据、参数量和算力下,STRM在Sudoku-Extreme和PPBench上超过TRM,在Maze-Hard上与之持平,训练后期也不再出现留出准确率下滑。

已读完全部报道