跳到主要内容
返回时间线
arXiv来源发表:

控制策略不再只靠调权重:程序搜索保留高分代码,四个任务的新回合全部改善

核心概要

EliteTable把控制策略写成可执行Python程序,用一张固定容量的高分程序表引导新提案、编辑与重组,在六个Gymnasium控制任务上各跑十次搜索。搜索过程中,六个任务的新候选得分中位数都上升,五个任务的入选者搜索得分中位数上升;在MountainCar-v0、LunarLander-v3、BipedalWalker-v3和CarRacing-v3上,十次搜索的首末入选者在同一批100个留出回合上全部改善。Acrobot-v1有六次搜索在留出回合上退步,中位变化为负,说明搜索分数上升不等于新回合上更好。

AI-generated editorial illustration: EliteTable: Self-Improving Program Search for Executable Control Policies

深度剖析

控制策略的改进可以发生在源代码层面:搜索反复改写可执行程序,而不是只更新神经网络权重。 此前的程序搜索系统各自保留不同的解并采用不同的候选生成方式,例如按岛屿维护多个种群,或把启发式描述与实现一起演化。 六个Gymnasium控制任务各跑十次独立搜索,每次十代、每代五十个候选槽;第一代到第十代,六个任务的新评估候选得分中位数都上升,五个任务的入选者搜索得分中位数上升,CartPole-v1的入选者第一代就已到分数上限。

搜索保留一张固定容量的高分程序表,新候选与表内旧解同场竞争,由三种算子产生候选。 第一代只生成全新提案,之后按两成新提案、四成编辑、四成重组的比例分配,编辑拿到一个父代源码,重组最多合并三个父代的信息。 候选先做接口、语法与重复检查,失败者进入修复循环,每个槽最多修五次;三万个候选槽中两万九千九百五十九个完成评估,占99.9%,日志记录三万八千二百八十九次模型调用,其中八千二百八十七次是修复调用。

留出回合上的表现与搜索分数并不总是一致,搜索分数上升可能伴随新回合上的退步。 入选者由搜索分数选出,留出回合不参与生成、修复、晋级、停止或入选者选择。 每个不同代的入选者在100个留出回合种子上评估一次;MountainCar-v0、LunarLander-v3、BipedalWalker-v3和CarRacing-v3的十次搜索首末配对全部改善,Acrobot-v1有六次退步且中位配对变化为负,BipedalWalker-v3与CarRacing-v3改善但最终入选者未达到报告目标。

启示与展望

报告覆盖六个Gymnasium控制任务,每个任务十次独立搜索、每次十代、每代五十个候选槽,入选者在100个留出回合种子上评估。适合关注程序搜索、语言模型引导代码改进与强化学习控制的研究者和工程师阅读。作者提出下一步应做预算匹配的算法比较、包含无历史依赖生成基线的完整消融,以及跨语言模型、更长预算和新回合面板的测试。

搜索分数上升并不保证留出回合改善,Acrobot-v1的搜索分数上升而中位配对留出变化为负,作者认为需要进一步查明原因。留出评估只覆盖每代入选者而非全部保留精英,搜索用十个回合种子而留出用100个。作者指出十次搜索只能刻画固定回合面板下的变异,不能确立跨回合分布、语言模型、提示或搜索配置的稳健性;任务广为人知,模型可能在训练中见过相关描述或解法;基于时间的截止和托管服务差异也会改变搜索轨迹。