跳到主要内容
返回时间线
arXiv来源发表:

RLRT把演员与学习器的耦合变成可调刷新上限:两块Jetson上大网络错过截止时间压到1%以下

核心概要

南洋理工大学的团队提出片上强化学习运行时RLRT,把演员何时接收学习器新权重这一耦合关系变成可调的刷新上限,并在平台实时调度器之上用GPU许可与松弛感知准入协调演员、学习器和第三方负载。在Orin AGX与Orin Nano上按真实刷新代价运行,M参数规模的演员策略截止时间错过率保持在1%以下,而不带该运行时的演员错过率在11.8%到99.9%之间,代价是学习器吞吐下降。

Source-provided article image: RLRT: On-Device Reinforcement Learning Runtime
arXiv

深度剖析

片上强化学习里,周期性的演员要在控制截止时间前给出动作,学习器又要用同一块嵌入式GPU更新策略权重,RLRT把两者之间的耦合改成运行时可调的刷新上限:演员两次刷新尝试之间最多可以放出多少次动作。 此前的设计把耦合固定在一端或留成隐含选择:锁步设计每次发布更新都同步演员,学习器被压到演员的节奏,实测低于设备可持续的水平,刷新或学习步一旦超出演员余量就几乎每次都错过截止时间;自由运行则从不刷新,策略落后数千次更新。 在Orin AGX和Orin Nano上按真实刷新代价运行,M参数规模的基于回放的演员-评论家策略在RLRT下实测错过率低于1%,而不带运行时的演员在11.8%到99.9%之间,学习器吞吐相应更低。

运行时用一个GPU许可把演员、学习器和第三方租户的GPU工作串行化,再用松弛感知的准入规则在演员的空闲时间里填入学习器步,并把放不进余量的长更新拆成小批梯度累积和优化器分片。 许可一次只放行一个步,每步在释放许可前同步自己的CUDA流,用并发换可预测性;准入规则让就绪的实时请求按基础策略顺序优先,其余情况下只在预测代价加安全余量仍落在下一次周期发布之前时才启动学习器请求。 在AGX和Nano上,学习器步的实测代价落在预测值附近;Nano的大网络上,一次毫秒级更新被拆成八个样本的梯度累积和三个优化器分片后得以推进,不拆分时该配置的学习器吞吐明显更低。

启示与展望

演示范围是两块Jetson板(Orin AGX与Orin Nano)上的六种强化学习算法、两个控制环境、六种基础调度器、扫描的演员截止时间和k到M参数的演员网络,另有一台静止Duckiebot上的可行性演示,其Jetson Nano 2GB运行完整ROS2视觉管线与2.24M参数ACNet。

准入是经验性的而非保证;模型规模超过运行时行为不变的区间后,AGX上的争用尾部会拉长到任何刷新上限都无法挽回截止时间,学习器状态在Nano和AGX上也会在各自规模之后放不进内存。双缓冲下刷新上限主要决定更新滞后,复制路径上则主要决定刷新频率。