跳到主要内容
返回时间线
arXiv来源发表:

机器人智能体不再每个动作都问大模型:ChunkAct把记忆编译成动作块,LIBERO-Pro成功率83.8%

核心概要

在把大语言模型智能体放进机器人控制回路的方案里,每个感知或运动原语都要单独一轮推理,单次抓放平均要24.2次调用和2.2M输入token。ChunkAct把记忆离线编译成可执行的动作块,一次调用连续执行一串原语,只在失败时把控制权交回规划器。在LIBERO-Pro上,它的总体成功率为83.8%,比Harness VLA高5.0个百分点,同时少2.9次调用、少4.4倍输入token和2.3倍输出token。

Source-provided article image: ChunkAct: Action Chunking for Agentic Robotics
arXiv

深度剖析

机器人智能体的规划器从“每个原语问一次”改为“每个决策问一次”,一次调用启动一串串联的感知与控制原语,这串原语自主执行到完成,只有失败时才把控制权交回。 此前的智能体机器人系统在每一步都让大模型观察场景、查阅记忆并发出单个工具调用,因此调用次数随原语数线性增长,输入token随原语数二次增长。 在LIBERO-Pro上,ChunkAct总体成功率83.8%,比同为智能体系统的Harness VLA高5.0个百分点;两者共用同一规划器、同一VLA原语、同一感知和同一份记忆,差别只在记忆的使用方式。

动作块在部署前由记忆编译而成,把某一类子目标的执行顺序、各阶段所用原语、按物体类别取值的参数、失败后的备选策略和阶段校验条件固定下来,运行时不再读取记忆。 此前记忆在测试时被反复检索并读入上下文,记忆读取和感知查询合计占调用的大多数,而且每次结果都会追加进上下文,使上下文随回合不断变长。 在LIBERO-Pro上,ChunkAct每回合平均8.3次调用、0.5M输入token和3.7k输出token,Harness VLA对应为24.2次、2.2M和8.5k;关闭推理后ChunkAct成功率80.0%,Harness VLA为56.0%。

规划器只保留无法编译的部分:理解任务与场景、在动作块失败后重新定位目标或退回原语。 此前规划器同时充当推理者和执行者,对每一步一视同仁,无论该步是否需要判断。 在LIBERO-Pro上,动作块在不调用大模型的脚本驱动下单独达到57.5%成功率,带推理的ChunkAct为83.8%,两者之差对应失败恢复带来的增益。

启示与展望

评测集中在LIBERO-Pro的八个套件与扰动组合,每个组合10个任务、每任务10个种子;LIBERO-Plus上每个扰动轴每任务只跑一个种子。规划器为GPT-5.6-sol,VLA原语为RLinf微调检查点,分割由SAM 3提供,每回合预算100次调用。

动作块库在LIBERO-Pro上编译并包含任务特定记忆,LIBERO-Plus的零样本结果说明它未过拟合到这些任务,但该结论限于这七个扰动轴。关闭推理后ChunkAct成功率保持稳定,而Harness VLA明显下降,这一对比反映两者对规划器的依赖程度不同。