训练提示词里加一段临时脚手架:AutoScaffold 撤掉辅助后仍比 RL 基线高 7.2 分
核心概要
强化学习只用结果奖励打分,一次尝试里的推理、动作和反馈大多被压成一个数字,失败轨迹里的信息随之浪费。AutoScaffold 让一个冻结的教师模型定期读取学生的训练记录,诊断卡点,写出跨任务共享的策略和针对单道难题的提示,并在部署前用留出任务检验班级级修改。四个领域撤掉脚手架评测时都高于对应 RL 基线,ALFWorld 成功率高出 7.2 分,搜索问答平均精确匹配高出 4.0 分。
深度剖析
训练时的提示词里可以临时加入由教师模型写出的文字脚手架,学生在评测时不再看到这些文字,成绩仍高于不加脚手架的强化学习基线。 此前的脚手架多由人预先设计成提示层级、部分解或技能库,训练中要么固定不变,要么按预设规则调整。 在 ALFWorld 上,AutoScaffold 的成功率为 93.9%,比 GiGPO 基线高 7.2 分;搜索问答平均精确匹配为 46.1%,比 GiGPO 高 4.0 分。
教师模型自己决定读哪些训练记录,据此写出两类脚手架:一类是同一类任务共用的策略,另一类是单道难题的提示。 教师通过班级统计、单条轨迹和同一任务的整组尝试三种查询工具取证,并保留自己过去三次决定的记忆,而不是只拿到一份固定的失败样本。 把查询工具和记忆换成固定失败样本后,ALFWorld 成功率降到 85.3%,比完整系统低 8.6 分。
班级级脚手架在投入使用前要先在留出任务上验证,教师根据验证结果决定采纳、保留、合并还是撤掉。 没有验证时,一个从少数轨迹推断出的策略会影响整类任务的一整个训练块。 去掉脚手架验证后,ALFWorld 成功率从 93.9% 降到 79.8%,低于 GiGPO 基线。
启示与展望
评测覆盖 ALFWorld、搜索问答、数学推理和 KernelBench 四个领域,学生模型从 Qwen2.5-1.5B-Instruct 到 Qwen3-8B,结果均为三次独立运行的平均;所有成绩都在撤掉脚手架的条件下测得,衡量的是学生自身能力。
分析刻画的是带脚手架提示下的学习信号,并未建模这种提升如何迁移到无脚手架策略;注入概率下班级级信号对注入概率是线性的,理论上会偏向始终注入,而实际中始终注入会造成训练与评测不匹配,因此对注入概率设了上限。教师干预成本和“带脚手架学习何时改善学生独立能力”被列为后续工作。
