跳到主要内容
返回时间线
arXiv来源发表:

智能体训练环境不再预筛子图:RISE改用全量Freebase,十九个基准上多跳推理领先

核心概要

面向大语言模型智能体推理的强化学习训练环境RISE,把此前预先抽取的每题子图换成未剪枝的全量Freebase知识图谱,让路径选择、候选剪枝和何时停止重新成为策略自己的决定。此前的子图环境把候选空间压缩了五个数量级,一个不读问题的度数启发式就能在Top-10里命中金标答案;RISE在十九个基准、三种模型骨干上提升了域内与未见模式的知识图谱推理,并零样本迁移到开放域段落检索。

Source-provided article image: Interactive Structured Environment Scaling for Large Language Model Agentic Reasoning
arXiv

深度剖析

智能体强化学习的训练环境从预先抽取的每题子图改为未剪枝的全量知识图谱,搜索路径、候选剪枝和停止时机重新由策略在每一轮决定。 此前的结构化与检索环境在策略行动之前就做上游预筛:把金标答案附近的紧凑子图注入上下文,或先检索固定段落列表。 对公开的每题WebQSP子图按原样审计显示,子图中位仅含若干三元组,比全量Freebase小五个数量级;一个从不读问题、只按子图内度数排序节点的启发式在Top-10中命中金标答案的比例远高于均匀随机基线。

策略只输出自然语言查询和方括号实体提及,由确定性的五阶段类型意图适配器翻译成图数据库操作,因此同一套权重可以驱动静态知识图谱、时序图谱或段落检索器。 把动作空间绑定到SPARQL语法或图专用原子原语,会让策略把搜索规划与语法生成混在一起,无法零样本迁移到新工具。 适配器对出边和入边对称执行,因为审计发现相当一部分候选关系只以入边形式存在;训练与评测共用同一个适配器和回执模板,评测在完整官方测试划分上无条件进行。

学习前沿缩放把题目按金标SPARQL拓扑分成四个确定性结构层级,并用自演化课程bandit按组级通过率方差在线调整批次构成。 在全图探索下,组归一化目标会出现组内方差塌缩:同一题的所有 rollout 奖励相同就贡献零梯度,已掌握和不可达的题都落入这一情形。 在Qwen2.5-7B上,同一批题目池中按易到难推进的课程优于均匀采样,也优于把难层前置的反向顺序;闭环方差反馈在WebQSP、CWQ、GrailQA、MATH500和AMC23上进一步高于均匀采样。

启示与展望

演示范围是Freebase上的知识图谱问答训练,评测覆盖结构化知识、跨工具段落检索和无工具数学与逻辑推理三类共十九个基准,骨干为Qwen2.5-7B、Qwen2.5-14B和Llama-3.1-8B。读者对象是构建多轮工具使用强化学习环境的工程师与研究者。

在有限调用预算下,表面形式无法完成实体解析、或需要超出稠密关系排序的复杂语义桥接的问题仍然不可达。课程实验把训练时长固定在一个epoch,每个实验臂只跑一次训练,多轮次调度和多种子估计尚未覆盖。