跳到主要内容
检索

# 随流匹配步数递增的权重量化精度

1 篇关联报道

订阅更新
  1. arXiv

    机器人动作头权重精度随流步上升:2到4比特保住闭环成功率,推理比Thor的NVFP4快1.7倍

    机器人视觉-语言-动作模型的扩散动作头每一步都要重读全部权重,却只作用在约五十个token上,推理因此受限于显存带宽。由于靠后的流步会衰减靠前流步的量化误差,权重位宽可以随步数上升;仅用逐通道舍入、不做校准或训练,[2,3,3,4] 的位宽安排保住了三个策略的闭环成功率,比每步4比特少传25%的比特。现有GPU内核受固定开销拖累无法利用这一点,一款可编程加速器让时延与能耗随传输的权重比特缩放,在LPDDR5X时序仿真下以8.02毫秒完成GR00T N1.6动作头一次推理。

已读完全部报道