跳到主要内容
返回时间线
arXiv来源发表:

现实变化快过认知:Co4在复杂四足行走中把可靠运行范围拉长十倍,赛车任务为两倍

核心概要

强化学习智能体通常只在一种环境变化速度下训练,部署时却可能遇到更快的现实变化。这项概念验证把“现实速度”逐级调高、不重新训练,用预设的行为可靠性阈值测出系统还能撑到哪一档,并比较Transformer、门控MLP与受细胞机制启发的Co4。在复杂视觉引导四足行走任务中,Co4把连续可靠的速度范围相对Transformer基线延长十倍;在赛车任务中延长两倍。

Source-provided article image: When Reality Outpaces Cognition: A New Scaling Principle for Reliable Intelligence
arXiv

深度剖析

研究把“现实变化快过认知”变成一个可测的评测问题:智能体只在基线现实速度下训练,测试时逐级提高现实速度且不重新训练,计算资源保持不变,看它从基线起能连续满足预设行为可靠性标准到哪一档。 此前的时序鲁棒性工作多关注观测延迟、动作重复、控制频率变化或动力学偏移,而这里考察的是训练中未直接经历、越来越远的未来状态。 在复杂视觉引导四足行走任务中,按预设阈值和所测档位,Co4把连续可靠的速度范围相对Transformer基线延长十倍;在赛车任务中,同一比较下延长两倍。

Co4在信息进入下游处理之前先做一次上下文核验:与局部和全局上下文预测相符的证据被放大,缺乏支持的证据被压低。 这一“先验证再传播”的原则通过两点神经元之间的三重调制回路实现,调制方式分为顶端放大AA与顶端驱动加觉醒ADA两种变体。 在复杂四足行走任务中,Co4-AA与Co4-ADA取得最高的训练滑动平均奖励,而关闭Co4调制方程会去掉大部分性能优势;在赛车任务中,Co4-AA约100次迭代达到峰值奖励,Transformer需要近500次迭代才达到相当水平。

启示与展望

结论来自两个仿真强化学习环境:视觉引导四足行走的简单与复杂两种任务,以及赛车任务;所有系统只在基线现实速度下训练,测试时不重新训练、计算资源固定,可靠性阈值按任务分别预设,结果取10次运行的均值与标准差。

Co4的优势被归因于“有根据的想象”能力增强,但这只是与行为结果一致的假设,其机制要在后续涉及规模化世界模型的工作中显式检验;门控MLP在简单四足任务中未在训练基线满足可靠性标准,其连贯认知速度因此未定义。