GPU显存不够时不再靠缺页搬数据:Ember把冷数据留在主机,LLM生成快数倍
核心概要
英伟达统一虚拟内存(UVM)在数据超过显存后性能会崩塌,Ember 把默认策略反过来:分配先映射到主机内存,由 GPU 硬件访问计数器判断哪些区域变热再迁入显存,并在显存填满前批量回收冷区域。在三块 PCIe GPU 的六个应用上,超额订阅时 Ember 相对原生 UVM 取得几何平均加速,LLM 生成吞吐达到 UVM 的数倍,且无需剖析运行或改动应用。
深度剖析
Ember 让超过显存容量的工作负载不再依赖缺页来搬运数据,而是让分配一开始就映射在主机内存中,GPU 可直接经互连访问,只有被判定为热的区域才迁入显存。 原生 UVM 默认按缺页迁移,显存一满,每次缺页都要先回收一个常驻页,回收与执行交错在关键路径上,导致停顿;把同一数据全部映射在主机端(UVM-mapped)虽不回收,却让每次访问都受互连带宽限制。 在 RTX 5080、A40、H200 三块 PCIe GPU 上,六个数据密集型应用超额订阅时,Ember-static 相对原生 UVM 的几何平均加速分别为 1.9 倍、2.4 倍和 2.6 倍,Ember-adaptive 分别为 1.6 倍、1.9 倍和 2.1 倍;UVM-mapped 落后 Ember-static 1.3 到 2.4 倍。
Ember 用 GPU 的硬件访问计数器把主机端访问转成放置信号,计数器通知只覆盖一个 VA 块,但一次提升会覆盖该块周围一段连续块,从而用少量计数器驱动远大于计数器数量的映射数据集。 原生 UVM 不使用这些计数器,而是按缺页迁移;计数器本身只观测主机内存,无法报告显存常驻区域的访问频率,因此冷热判断需要另行推断。 Ember-adaptive 作为对英伟达开源 UVM 内核模块的补丁实现,在 11 个文件中增加 1194 行、删除 31 行,基于 CUDA 12.4 与 Linux 6.17;提升跨度默认 64 MiB,计数器阈值默认 256 次访问。
回收被移出关键路径:Ember 在显存占用超过上水位前就按衰减需求批量驱逐冷区域,并用迁移感知保护避免刚被回收又立刻变热的区域反复往返。 原生 UVM 的按龄近似 LRU 回收在显存满后持续运行,与执行交错并拖低 warp 占用率;Ember 则让被回收区域保持映射、可经互连访问,腾出的容量交回驱动分配器。 回收由驱动分配器中的后台线程每 25 毫秒执行一次,每次最多驱逐 16 个物理块,上水位 90%、下水位 85%;迁移感知保护给出 100 毫秒基础宽限,加上每分 250 毫秒、上限 2000 毫秒。
运行时决策替代了预先剖析:Ember-adaptive 在五个基准上整体快于先剖析再逐分配选择策略的 HELM,且不需要剖析运行。 HELM 需要先剖析应用再为每个分配指定迁移、钉在主机或钉在设备等策略,剖析、指标处理和选择本身耗时 32 秒到 1448 秒,占其端到端运行时间的 2% 到 50%,且重复剖析可能给同一分配打上不同标签。 在五个基准上 Ember-adaptive 平均快于 HELM 1.4 倍;只比较内核时间时,它在五个基准中的三个上仍更快,最高快 1.4 倍、平均 1.2 倍,在 bfs 和 gramschm 上较慢。
启示与展望
Ember 面向显存被超额订阅的独立 GPU,保持 UVM 的内存与编程模型不变。Ember-static 在原生驱动上以放置提示运行,不需要特权或裸机访问,适合热数据集已知且运行中不需要调整的应用;Ember-adaptive 在驱动内运行,需要硬件访问计数器和可加载内核模块的机器,能透明支持未修改的应用。评估覆盖四块 GPU、三类部署形态与三类工作负载,包括六个数据密集型应用、LLM 生成和 SSB 分析查询。Ember 只放置通过 cudaMallocManaged 分配的内存,库内部缓冲区不在其可见范围内。
硬件计数器只观测主机内存,无法报告显存常驻区域是否变冷,Ember 只能根据提升前记录的、随时间衰减的需求来推断,因此仍热的区域可能被误回收并搬运两次。Ember-adaptive 需要裸机访问来加载内核模块,其模块针对开源驱动的内部接口构建,每个新版本都需要重新适配。多 GPU 场景下对等显存构成第三层,Ember 目前只在单块 GPU 与主机内存之间放置数据。
