Axion 1.0把智能体训练压到三步:两轮监督微调加强化学习,权重之外连数据构造和训练代码一起放出
核心概要
字节跳动等机构发布全开放智能体基础模型 Axion 1.0,训练只保留两轮轻量监督微调加一轮强化学习,省去专门的中训练、直接偏好优化和同策略蒸馏。省去这些环节后,模型在推理、工具使用、信息检索与长程交互等基准上仍与领先开源模型和若干前沿商业模型相当。发布范围不止权重,还包括数据构造、生成、过滤、验证、提示词与训练代码。
深度剖析
Axion 1.0 把智能体基础模型的训练流程压缩为三步:两轮监督微调,随后一轮强化学习,不再设置专门的中训练阶段、直接偏好优化或同策略蒸馏。 此前的智能体模型训练常叠加继续训练或中训练、多个监督阶段、按能力定制的数据配比、偏好优化与额外后训练步骤,环节累积后难以判断哪些成分真正必要,复现成本也随之上升。 在覆盖推理、工具使用、信息检索、编程与长程交互的六项基准上,Axion 1.0 与领先开源模型及若干前沿商业模型相比具有竞争力;35B 与 122B 两个配置分别从 Qwen3.6-35B-A3B 和 Qwen3.5-122B-A10B 初始化。
能力主要来自数据构造而非训练阶段堆叠:第一轮监督微调训练自足推理,第二轮训练依赖工具获取外部信息的推理,强化学习再拉长长程交互。 自足推理数据以公开课程、竞赛与推理数据集中的题目为种子,先由生成模型改写为需要原题中间结果的新题,再用基座模型试解,答对的题按组合、参数化、范围平移、分类讨论四种方式继续加难。 工具依赖数据由结构化公开数据库经过滤、唯一实体选择、确定性计算与自然语言化四步生成,构造时数据库对求解模型封闭,并剔除闭卷即可答对的题;训练轨迹只保留答案与参考解一致、工具调用有效的样本。
强化学习阶段用结果奖励加过程奖励,对未完成但已建立有效中间步骤的轨迹给部分分,并对不提交最终答案的轨迹扣分。 监督微调只从成功示范中学习,并不直接优化模型自行生成与行动时的决策,因此在其后接上组相对策略优化。 中间目标按依赖顺序核验,后一步只有在前置步骤全部通过后才计分;强化学习题从同一程序化构造池中选取,每题采样四条轨迹,只保留至少一条答对且四条奖励方差非零的题。
启示与展望
结果覆盖 HLE、BioMysteryBench 人难子集、SEAL-0、HiPhO 以及 FrontierScience 的 Olympiad 与 Research 两个划分,模型在支持网页搜索、网页访问、学术检索与 Python 执行的 ReAct 环境中评测,并按各基准限制工具权限;训练阶段与模型规模对比另用 130 题的纯文本 HLE 子集,其分数不与主表 HLE 结果直接比较。
外部报告的基线可能在工具访问或执行设置上不同,跨来源比较因此只是指示性的;逐阶段检查点是顺序对比而非组件移除消融,强化学习在科学推理基准上的收益随模型规模变化,35B 的 FrontierScience Research 与 HiPhO 在强化学习后略有下降;路由回放的诊断同时反映异步策略陈旧与上下文压缩的离策略效应,基准差异不能单独归因于该技术。
