课程学习为何在强化学习里更管用:稀疏奖励下没有课程几乎学不动,密集奖励下收益有限
课程学习在强化学习中常比监督学习更有效,原因此前缺少可解析的解释。一个可精确求解的目标拦截模型显示:奖励密集时课程只带来边际收益,奖励稀疏时课程可能是学习发生的前提;当智能体同时追求省力与高回报时,会出现相互竞争的局部最优,使智能体停在“放弃”解上。有用的课程做两件事:降低奖励稀疏度以加快学习,并塑造奖励地形把智能体引离坏的局部最优。
课程学习在强化学习中常比监督学习更有效,原因此前缺少可解析的解释。一个可精确求解的目标拦截模型显示:奖励密集时课程只带来边际收益,奖励稀疏时课程可能是学习发生的前提;当智能体同时追求省力与高回报时,会出现相互竞争的局部最优,使智能体停在“放弃”解上。有用的课程做两件事:降低奖励稀疏度以加快学习,并塑造奖励地形把智能体引离坏的局部最优。
EvoDiff把主动学习的选样改成“先生成、再检索”:在特征空间里用扩散采样生成合成探针,只把被探针检索到的真实未标注超声图像交给专家标注。在覆盖15个数据集、16,696张图像、6类器官任务的评测中,它在ResNet-50与USFM两种下游模型上多数设置优于随机采样和多种主动学习基线,并以模型估计的标注工作量指标给出相对随机采样24%至84%的削减。
人形机器人全身控制通常由一个策略同时驱动上下身,上身大幅动作会拖累下身平衡,训练也容易在两者之间互相干扰。JAEGER把上身与下身拆成两个独立控制器,共享观测与奖励,并先用监督学习初始化上身、再以强化学习联合训练,同时支持根速度跟踪与关节角跟踪两种指令模式。在H1与H1-2两个平台的仿真对比中,JAEGER的上身关节跟踪误差低于HumanPlus、ExBody与OmniH2O等基线,姿态模式下的关节误差约为其他方法的30%至60%。
GRPO强化微调中,固定由易到难的课程表常与模型实际进度脱节。ClosedLoopGaussian保留高斯采样器的形式,用每隔若干步的探针准确率反馈调节推进速度与复习宽度,不改奖励、模型结构或优化器。在Countdown上四个随机种子的平均精确匹配准确率高于固定课程与原始GRPO,增益集中在中间难度,但种子间离散度大,结果只作描述性解读。
智能体用实验反馈迭代数据工程策略,在数学与代码数据筛选、数学奖励设计和数学课程学习四类任务上,选出的策略在固定训练条件下于AIME25 Pass@32最高比通用基线绝对提升13.34%。
MassNet是一个面向深度学习的质谱蛋白质组学数据语料,汇集来自648个项目、35个物种的15.4亿张串联质谱谱图,并配套列式张量存储格式MSDT。此前质谱数据分散在MGF、mzML等异构格式中,谱图与肽段注释分离,跨物种覆盖以人类为主。基于该语料训练的并行解码模型XuanjiNovo在人类Astral数据上较现有方法提升38.35%至143.57%,并支持保留时间预测与PSM重打分。
X光安检的通用物体定位此前受制于专家标注稀缺,只能沿用RGB图像预训练的分割模型,在重叠、弱边界的行李扫描上表现不稳。LAO-X把无标注X光扫描中挖出的物体按比尔-朗伯定律在吸光度域重新合成,生成带整体与局部伪掩码的行李场景,再用遮挡递进的课程微调SAM2定位器。在六个X光基准上,该方法在无任何人工标注条件下把类别无关定位的mAP较SAM2与X光专用基线提升2%至23%,其中DET-COMPASS达到53.33% mAP。
该工作把多模态深度研究智能体的在线强化学习训练扩展到 128k 上下文与 75 轮以上工具交互,并提出由同策略蒸馏预热、渐进式视野扩展和熵触发回滚救援三部分组成的 Long-MDR 训练配方,以缓解长视野训练早期奖励上升缓慢与后期熵坍缩的问题;在 50 轮工具交互评测预算下,训练得到的 Long-MDR-9B 在六个基准中的五个上位列所比较的 7B–9B 智能体之首。
该工作把离线 harness 优化中的训练场景选择形式化为自动课程学习问题,提出 ActiveSaddler:用非平稳多臂老虎机把反复出现的失败抽象为可复用的失败模式臂,估计每个臂的潜在学习进展并自适应平衡重访已知弱点与探索未见场景,在 GAIA2 和 Terminal-Bench 2.0 上相比同一优化器使用固定场景顺序分别把测试 Pass@1 提升 4.4 和 7.5 个百分点。
该工作提出 LT-OPD,让只保留 5% 视觉 token 的学生模型在自己的生成轨迹上接受冻结全 token 自身教师的分布监督,并配合逐步降低 token 预算的课程,在 Qwen3.5-4B 九个基准上把平均保留性能从 68.6% 提升到 82.3%,同时把 KV 缓存降低 85.2%、prefill FLOPs 降低 85.4%,且不增加推理开销。