跳到主要内容
检索

Huaizhi Zhang

1 篇关联报道

订阅更新
  1. arXiv

    长上下文推理不再反复搬KV:MCF按预填充阶段临时复制,16节点TTFT降到0.62秒

    长上下文推理的预填充阶段要反复搬运历史KV缓存,MCF把KV布局改成随阶段变化的运行时调度:预填充早期内存有余量时临时复制高复用KV块,随内存压力上升逐步回收,解码前收敛回分片布局。在4块KR260 FPGA组成的集群上,16K预填充、16个逻辑节点时MCF的TTFT为0.62秒,Ring Attention与Zigzag Attention分别为1.91秒和1.81秒。

已读完全部报道