长上下文推理不再反复搬KV:MCF按预填充阶段临时复制,16节点TTFT降到0.62秒
长上下文推理的预填充阶段要反复搬运历史KV缓存,MCF把KV布局改成随阶段变化的运行时调度:预填充早期内存有余量时临时复制高复用KV块,随内存压力上升逐步回收,解码前收敛回分片布局。在4块KR260 FPGA组成的集群上,16K预填充、16个逻辑节点时MCF的TTFT为0.62秒,Ring Attention与Zigzag Attention分别为1.91秒和1.81秒。
长上下文推理的预填充阶段要反复搬运历史KV缓存,MCF把KV布局改成随阶段变化的运行时调度:预填充早期内存有余量时临时复制高复用KV块,随内存压力上升逐步回收,解码前收敛回分片布局。在4块KR260 FPGA组成的集群上,16K预填充、16个逻辑节点时MCF的TTFT为0.62秒,Ring Attention与Zigzag Attention分别为1.91秒和1.81秒。
已读完全部报道