循环精炼器换掉每遍训练目标:多解数独从2.5%升到98.8%,还不用答案清单
核心概要
循环精炼器把同一小网络反复作用于草稿答案,但深度监督让每一遍都对准数据集存下的那一个答案;当题目有多个正确答案时,这个目标会把各答案混合成无效网格,并留下任何模型容量都消不掉的最低损失。改用“近端目标”——每一遍朝离自己输入最近的正确答案训练——后,同一个1.73M参数网络在2–64个答案的数独上解出98.8%,标准目标为2.5%;在答案超过一万个、不给答案清单的稀疏数独上解出93.8%,标准目标为0.0%。
深度剖析
循环精炼器的每一遍训练目标从“数据集存下的那一个答案”改为“离这一遍输入最近的正确答案”,多答案题目的求解率随之从个位数跳到九成以上。 此前HRM、TRM这类循环精炼器用深度监督把每一遍都对准每个谜题存下的单一答案;在2–64个答案的数独上,标准目标只解出2.5%。 同一个1.73M参数网络、5个随机种子下,近端目标解出98.8%的2–64答案数独,标准目标为2.5%;把网络放大4倍到6.9M参数,标准目标仍只有2.4%。
每一遍只需比输入少犯几个错误,循环就能收敛,而这一遍的训练损失给出了错误数的上界。 标准目标下最优的一遍会忽略草稿,在每个格子按各答案的边缘概率分摊,解码出来是混合网格而不是答案。 在1000道多答案测试题、每题4个起点、3个种子上,近端目标模型在第1–6遍把错误数压到输入的0.28–0.49倍,标准目标从第3遍起超过1并停在离最近答案6.7格处。
目标可以来自完整答案清单、从草稿出发的深度优先求解器,或按质量档位设定的旋钮,后两者不需要预先列出答案。 只保留部分答案清单时,最近的可列答案取决于留下了哪些答案,混合问题会部分回来。 不给任何答案清单、目标取自从草稿出发的求解器时,稀疏数独解出93.8%(标准0.0%),200节点三着色解出90.9%(标准36.9%)。
启示与展望
演示范围是数独、稀疏数独、植入三着色、Nandwani 等人的多解基准和Scrabble棋盘,模型最多6.9M参数,训练需要完整答案清单、能从草稿起步的求解器或质量排序之一。
循环在同样起点下找到53.6%的数独答案,低于其目标本身的64.3%;Scrabble旋钮在0.5–1.0区间有用,数独旋钮在3个种子中只有2个学到;在N-Queens上,模型对训练中见过的解族解出99.9%,对留出解族只有2.7%。
