FP4强化学习不再各自量化:TRACE让训练与推演共用舍入,回放速度最高5.4倍
核心概要
混合专家语言模型做强化学习时,推演阶段用FP4低精度生成能省算力和显存,但训练路径与推演路径各自量化会让同一激活落到不同FP4码字,误差被放大后策略失配、训练不稳。TRACE把推演侧实际产生的FP4量化结果回传给训练侧,用来决定训练激活的舍入方向,并只缓存后段层的尾数与尺度信息以压低传输开销。在四个Qwen混合专家模型上,它支持权重、激活与KV缓存同时走FP4,平均分与BF16推演相当,回放速度最高提升5.4倍。
深度剖析
TRACE让混合专家模型在强化学习训练中把权重、激活和KV缓存同时压到FP4,而最终任务表现与BF16推演相当。 此前的FP4强化学习做法分别在训练路径和推演路径上压低各自的量化误差,并不直接缩小两条量化执行路径之间的差距。 在Qwen3.5-35B-A3B的推理任务上,TRACE四项基准平均75.3,BF16推演为74.9,而QAT、QaRL、QUADS分别为59.6、58.6、68.8。
做法是在推演生成时记录FP4路由专家激活与FP4 KV状态的量化结果,训练时用这些记录约束训练侧激活的舍入选择。 标准做法是就近舍入,只看训练激活自身离哪个FP4码字最近,不看推演侧实际落到了哪个码字。 对每个训练激活,TRACE在其相邻两个FP4 E2M1码字中挑与推演侧码字更接近的一个,因此在同一候选集下不会比就近舍入带来更大的局部训练—推演差异。
为控制回传开销,只保留模型后段层的尾数与尺度信息,而不是完整量化值。 完整保留推演侧量化信息时,按Qwen3.5-35B-A3B的配置估算,单个RL步可产生约51 TB记录,串行读写会成为瓶颈。 在Qwen3.5-35B-A3B上,后20层保留1位尾数加摊销尺度元数据,每个生成token约缓存7.5 KB,比缓存完整量化激活缩小约6倍;端到端RL步时从664增至713,开销7.4%。
启示与展望
演示范围是四个Qwen混合专家语言模型的强化学习后训练:Qwen3.5-35B-A3B、Qwen3.5-122B-A10B、Qwen3.8-Flash-Next与Qwen3.8-2.4T-A95B,覆盖推理、编码和长程任务,推演时只量化MoE层的路由专家与softmax注意力层的KV缓存,其余模块保持BF16。
局部保证只说明在捕获位点、同一候选集下不比就近舍入更差,并不保证全网差异单调下降或策略层面散度收敛;训练策略可能比生成推演的策略更新,TRACE不消除策略陈旧带来的激活差异,只减少其被不一致舍入放大的部分;缓存方案用部分码信息近似完整引导。
