非线性系统辨识不再挑激励信号:强化学习智能体自己学会填满状态空间
非线性系统辨识的激励信号设计此前依赖预设信号类别和逐次优化,且主要面向线性模型的最小化参数方差。这里把空间填充输入设计改写为强化学习问题,智能体按系统观测逐步给出受幅值约束的输入,无需选择输入类别或调频率带。在非线性弹簧-质量-阻尼与Van der Pol两个基准系统上,同一幅值界内学到的策略取得最佳整体空间填充表现,样本分布比现有空间填充多正弦设计更均匀。
非线性系统辨识的激励信号设计此前依赖预设信号类别和逐次优化,且主要面向线性模型的最小化参数方差。这里把空间填充输入设计改写为强化学习问题,智能体按系统观测逐步给出受幅值约束的输入,无需选择输入类别或调频率带。在非线性弹簧-质量-阻尼与Van der Pol两个基准系统上,同一幅值界内学到的策略取得最佳整体空间填充表现,样本分布比现有空间填充多正弦设计更均匀。
可微决策树保留显式路径和端到端训练,但每个内部节点的斜向软分裂可能同时依赖大量输入特征,削弱节点层面的可读性。EU-DDT在训练目标中加入归一化平方欧氏距离正则项,约束每个节点相对特征权重偏离均匀分布的程度,而不改动原有的sigmoid软路由。五个匹配随机种子上,Wine的平均有效特征数从8.94降到1.54、平均测试准确率从100.0%变为93.9%,Digits从45.28降到9.06、准确率从92.3%升到94.6%,呈现随数据集而异的集中度与性能权衡。
大模型强化学习里的PPO裁剪被推广成散度几何与估计器两个维度的设计空间,其中KL散度配原子估计在八个竞赛级数学与代码基准上把平均分相对标准GRPO提高约50%和14%。
多路口信号控制不再把整张路网压成一个共享隐向量。此前在正常流量下训练的策略遇到封路、走廊中断或降雨时,往往分不清短暂波动和持续通行能力下降。这里让每个路口按相邻路口的联合状态重新分配注意力,再用一段历史窗口判断变化是否持续,在随机封路场景中把等待时间恢复时间从329秒缩短到245秒,中心封区场景中等待时间恢复快82秒。
多智能体强化学习不再需要读取同伴的私有奖励:每个智能体用自己学到的奖励模型去评估同伴的转移,在 Escape Room、Clean Up 和 Commons Harvest 三个序贯社会困境中都能学出合作,且常比能看到真实奖励的智能体分得更均。
作者分析了视觉-语言-动作(VLA)策略的强化学习微调(RFT)如何重塑探索行为,发现 RFT 在整体行为分布收缩的同时使成功轨迹更加多样、更易被采样、覆盖更广的任务有效解空间;据此提出 DRIVE,将匹配任务条件下分组轨迹的时序对齐相似度转化为仅对成功轨迹生效的内在奖励,在 LIBERO-Plus、ManiSkill3、RoboTwin 2.0 上提升分布外成功率,并在双臂 AgileX PiPER-X 平台上将平均分布外成功率从 64.1% 提升到 73.3%。
该工作提出DexPolicy,在ViViDex这类由人类视频轨迹引导的灵巧操作强化学习中,把动作噪声尺度显式设为训练步数的退火函数,同时固定损失、架构、奖励与优化器设置,在PPO、无评论家的GRPO续训与流参数化PPO变体(FPO)三种策略优化设置下,于五个YCB物体和三个训练种子上把平均确定性Target成功率分别从32.0%提到35.7%、14.1%提到45.4%、49.4%提到68.1%,并在RealMan RM75机械臂配Inspire/RH56手的360次真机试验中把平均Target成功率分别从8.3%提到43.3%、10.0%提到63.3%、25.0%提到85.0%。
TERRA 提出一套端到端流程,仅从无场景的运动学轨迹出发,结合地形先验、估计的接触事件与自由空间证据恢复任务相关支撑几何,并在重定向中加入解剖、肌腱连续性与接触约束,用五个数据集生成的“运动—地形”配对训练出单一肌肉驱动控制策略,在重建、重定向与留出跟踪基准上提升地形精度、大幅减少解剖与交互违规,并在受支持地形族上取得最高完成率。
StructRL 是一个在线强化学习框架,它把每条长程指令自动分解为可由环境状态二值验证的子任务并组织成有序依赖组,只在某子任务的全部前置条件完成后才发放中间奖励、并按完成快慢缩放奖励幅度,在 RoboCasa365 与 LIBERO-Long 上配合 GR00T-N1.5 和 π0.5 两个 VLA 主干,一致优于所评估的在线 RL 基线(如 GR00T-N1.5 上 RoboCasa365 由 41.5% 提升到 49.1%,LIBERO-Long 由 92.4% 提升到 96.6%)。
该工作识别出 PPO 在 LLM 强化学习中的两类评论家失效模式——对截断轨迹同时过滤演员与评论家会把策略目标变为“以完成为条件”的奖励,以及同一批次内不同提示的回报噪声异质会让高方差提示主导评论家更新——并提出 EasyPPO,用仅作用于演员的超长过滤、按回报标准差倒数加权的噪声归一化评论家回归、以及配合梯度裁剪的适度更小评论家小批量来应对,在 FrontierCS 连续奖励编程、AIME24 二元奖励数学推理和 Search-R1 多轮搜索上全程保持稳定,最佳验证分数相对 PPO 分别提升 14.89%、2.28% 和 9.47%。