FP4强化学习不再各自量化:TRACE让训练与推演共用舍入,回放速度最高5.4倍
混合专家语言模型做强化学习时,推演阶段用FP4低精度生成能省算力和显存,但训练路径与推演路径各自量化会让同一激活落到不同FP4码字,误差被放大后策略失配、训练不稳。TRACE把推演侧实际产生的FP4量化结果回传给训练侧,用来决定训练激活的舍入方向,并只缓存后段层的尾数与尺度信息以压低传输开销。在四个Qwen混合专家模型上,它支持权重、激活与KV缓存同时走FP4,平均分与BF16推演相当,回放速度最高提升5.4倍。
混合专家语言模型做强化学习时,推演阶段用FP4低精度生成能省算力和显存,但训练路径与推演路径各自量化会让同一激活落到不同FP4码字,误差被放大后策略失配、训练不稳。TRACE把推演侧实际产生的FP4量化结果回传给训练侧,用来决定训练激活的舍入方向,并只缓存后段层的尾数与尺度信息以压低传输开销。在四个Qwen混合专家模型上,它支持权重、激活与KV缓存同时走FP4,平均分与BF16推演相当,回放速度最高提升5.4倍。
已读完全部报道