让智能体自己训练小模型:TrainExplorer把文献变成策略空间,加权总分39.02超过Codex
核心概要
自主训练大模型的后训练智能体常困在初始策略里,一次实验又同时改动数据与训练配置,难以判断哪一步起了作用。TrainExplorer把策略规划与执行解耦:先从文献构建候选策略空间,再把数据处理和模型训练拆成可单独替换的组件,逐次只改一处并归因效果。在PostTrainBench的七个任务、四个1.7B至4B基座模型上,其加权总分为39.02,高于同一智能体模型下Claude Code的7.32分优势,也超过GPT-5.6 Sol驱动的Codex的36.23。
深度剖析
TrainExplorer让后训练智能体在实验中途更换训练策略,而不只是在最初选定的监督微调方案里做局部调整。 此前后训练智能体多依赖模型自身知识选策略,迭代容易停留在初始策略附近,其他可行训练方法得不到探索。 在PostTrainBench四个基座模型上,TrainExplorer的策略切换率为37.50%,Claude Code为9.49%,相差28.01个百分点。
框架把一次实验拆成可单独替换的数据处理组件和模型训练组件,每轮只改一个组件,其余实现与配置沿用上一轮。 此前一次实验常同时改动数据管线和训练配置,性能变化无法归到具体改动上。 在Qwen3-1.7B上,去掉执行解耦后加权总分下降3.55,即使保留实验历史与反馈,GSM8K仍下降5.13。
策略规划先从科学文献整理出可检索的训练经验库,再据此为当前任务构建候选策略空间。 候选策略不再只来自智能体熟悉的常用方法,而是覆盖数据选择、数据合成、数据增强、数据清洗、SFT与RL等类型。 在Qwen3-1.7B上,去掉策略规划使加权总分下降5.26,AIME等任务降幅明显。
启示与展望
评测遵循PostTrainBench协议,覆盖七个任务与Qwen3-1.7B、Qwen3-4B、SmolLM3-3B、Gemma3-4B四个基座模型,每次运行在单张80GB GPU上有10小时预算,策略规划在每次运行开始时执行一次。
整体加权总分39.02仍低于官方指令微调模型的51.14,自主后训练与指令微调之间仍有明显差距。策略规划依赖训练经验库中是否有相关文献,在新兴或专门领域参考资料有限时,候选策略的构建可能缺少足够指引。
