跳到主要内容
返回时间线
arXiv来源发表:

机器人动作头权重精度随流步上升:2到4比特保住闭环成功率,推理比Thor的NVFP4快1.7倍

核心概要

机器人视觉-语言-动作模型的扩散动作头每一步都要重读全部权重,却只作用在约五十个token上,推理因此受限于显存带宽。由于靠后的流步会衰减靠前流步的量化误差,权重位宽可以随步数上升;仅用逐通道舍入、不做校准或训练,[2,3,3,4] 的位宽安排保住了三个策略的闭环成功率,比每步4比特少传25%的比特。现有GPU内核受固定开销拖累无法利用这一点,一款可编程加速器让时延与能耗随传输的权重比特缩放,在LPDDR5X时序仿真下以8.02毫秒完成GR00T N1.6动作头一次推理。

Source-provided article image: Hardware Acceleration of Vision-Language-Action Models with Weight Precision Rising over the Flow Steps
arXiv

深度剖析

动作头的权重精度可以按流步从低到高安排,而不必每一步都用同一宽度。 此前的做法把当前策略统一量化到4比特权重,每一步宽度相同;低于4比特时,均匀舍入的权重无论是否校准都会丢失闭环成功率。 在GR00T N1.6的12个名义比特步安排中,只有上升的[2,3,3,4]在两个筛选基准上都保住成功率,均匀3比特与下降的[4,3,3,2]在两个基准上都丢失成功率;[2,3,3,4]在八个完整基准套件中的五个上保住成功率。

加速器把一次推理的时延和能耗压到接近权重比特传输的下限,因为它在任何位宽下都让DRAM链路保持饱和。 在Jetson AGX Thor上,从[4,4,4,4]到[2,3,3,4]权重字节减少25%,时间只减少9%,注意力、LayerNorm与激活舍入在每种宽度下都占约3.2毫秒。 以LPDDR5X时序仿真的RTL实现在四个流步取2、3、3、4比特时,GR00T N1.6动作头每次推理8.02毫秒;在每种宽度存一份副本、使用Thor一半内存带宽的条件下,比Thor上的NVFP4快1.7倍、能耗低9.1倍,闭环成功率相同。

同一套比特串行子阵列既能跑不同家族和规模的动作头,也能跑视觉-语言模型。 位宽随步变化、注意力占比又随模型和上下文变化,固定划分会让一侧空闲而另一侧不够用。 运行时分配器按权重FIFO的填充程度在投影与注意力之间划分八个子阵列,使三个动作头的整次推理比静态分配快1.1%到2.3%;同一RTL以[2,3,3,4]跑GR00T N1.5每次推理5.16毫秒,以[2,5]跑另一个动作头2.70毫秒。

启示与展望

闭环结果全部来自仿真环境,覆盖GR00T N1.6、GR00T N1.5与另一个开源策略在LIBERO、RoboCasa、SimplerEnv等基准上的任务;加速器的时延、面积与能耗来自TSMC 7 nm综合的RTL与门级仿真,DRAM时序由LPDDR5X-8533模型给出。

在仿真中保住成功率的量化策略曾在真实机器人上丢失成功率;Quantization-in-DRAM需要一种目前没有商用器件提供的DRAM模式;芯片能耗来自带时钟树但尚未布局布线的网表,DRAM能耗来自模型。