跳到主要内容
检索

Qinghang Huang

1 篇关联报道

订阅更新
  1. arXiv

    GDN循环状态压到4比特:按预测损失分配位宽,近期写入单独留窗,长推理不再卡死

    线性注意力模型把历史压进固定大小的循环状态,状态一旦低比特量化,写回误差会进入后续每一步递推,长推理任务上分数骤降并出现重复、超长输出。GGA用语言模型损失对写回状态的梯度给各头分配位宽,PW把最近的纯写入以FP8向量对单独保留、按写入年龄滚动并入低比特历史状态。在Qwen3.5-4B/9B的七项评测上,GGA@把宏平均从STEPQuant@的31.44/37.42提升到50.92/67.26,再加PW-S8达到69.83/78.63。

已读完全部报道