跳到主要内容
检索

# 微型递归模型

2 篇关联报道

订阅更新
  1. arXiv

    循环精炼器换掉每遍训练目标:多解数独从2.5%升到98.8%,还不用答案清单

    循环精炼器把同一小网络反复作用于草稿答案,但深度监督让每一遍都对准数据集存下的那一个答案;当题目有多个正确答案时,这个目标会把各答案混合成无效网格,并留下任何模型容量都消不掉的最低损失。改用“近端目标”——每一遍朝离自己输入最近的正确答案训练——后,同一个1.73M参数网络在2–64个答案的数独上解出98.8%,标准目标为2.5%;在答案超过一万个、不给答案清单的稀疏数独上解出93.8%,标准目标为0.0%。

  2. arXiv

    递归小模型砍掉双层状态:STRM在数独极难集上以同等算力超过TRM

    递归小模型TRM靠高、低两层状态和嵌套循环来避免记忆化,结构复杂。STRM把两层状态换成一个状态,用一组固定速率、按对数间隔排列的指数滑动平均通道来更新,并且只从更新最慢的通道读出答案。在相同数据、参数量和算力下,STRM在Sudoku-Extreme和PPBench上超过TRM,在Maze-Hard上与之持平,训练后期也不再出现留出准确率下滑。

已读完全部报道