跳到主要内容
返回时间线
arXiv来源发表:

长上下文推理不再反复搬KV:MCF按预填充阶段临时复制,16节点TTFT降到0.62秒

核心概要

长上下文推理的预填充阶段要反复搬运历史KV缓存,MCF把KV布局改成随阶段变化的运行时调度:预填充早期内存有余量时临时复制高复用KV块,随内存压力上升逐步回收,解码前收敛回分片布局。在4块KR260 FPGA组成的集群上,16K预填充、16个逻辑节点时MCF的TTFT为0.62秒,Ring Attention与Zigzag Attention分别为1.91秒和1.81秒。

Source-provided article image: MCF: A Memory- and Communication-Aware Co-Designed Framework for Long-Context LLM Inference
arXiv

深度剖析

长上下文推理的KV缓存布局不再固定:MCF让KV块在预填充早期被临时复制到多个节点,在预填充结束前全部收回,只留归属节点上的分片。 此前的上下文并行方案依赖静态KV分片和固定通信模式,Ring Attention按环反复搬运历史KV块,Zigzag Attention只调整序列块顺序以平衡负载,两者都不随预填充阶段改变布局。 在16K预填充、16个逻辑节点的对比中,MCF的TTFT为0.62秒,Ring Attention为1.91秒,Zigzag Attention为1.81秒;MCF的通信量为5.12 GiB,高于两个流式基线的约4.40 GiB。

调度器MARS按内存余量和未来复用次数决定每个KV块复制几份,复制份数随预填充推进单调下降,最终回到1。 MARS把KV放置当作运行时调度问题,而不是一次性确定的分片策略,并用复制生命周期状态管理回收。 在16K预填充、16个逻辑节点的内存测量中,MARS在预填充早中期占用高于仅存归属块的基线,随预填充推进下降,结束时收敛到仅存归属块的布局。

解码阶段KV分片保持不动,只路由查询张量和紧凑的部分注意力状态,节点间交换量不再随上下文长度增长。 预填充阶段以KV为中心的传播在解码阶段切换为以查询为中心的路由,两种阶段共用同一套FPGA网卡数据通路。 在4块KR260节点组成的集群上,Qwen2.5-1.5B以INT4量化运行,端到端解码吞吐为17.3 token/s。

启示与展望

演示范围是AMD-Xilinx KR260 FPGA板集群,基准模型为INT4量化的Qwen2.5-1.5B,预填充序列长度扫描到16K,节点数从2到16;解码吞吐在4节点集群上测得。读者对象是关注分布式推理系统与FPGA加速的工程师。

MCF的通信量在节点数增大时略高于流式基线,作者说明这是用额外复制与预取流量换取关键路径上更低的暴露延迟。短序列上复制与调度开销可能抵消收益。功耗效率并非所列系统中最高的,作者将其归因于集成了打包缓冲与网卡通信数据通路。