跳到主要内容
检索

# GPU内存管理

1 篇关联报道

订阅更新
  1. arXiv

    GPU显存不够时不再靠缺页搬数据:Ember把冷数据留在主机,LLM生成快数倍

    英伟达统一虚拟内存(UVM)在数据超过显存后性能会崩塌,Ember 把默认策略反过来:分配先映射到主机内存,由 GPU 硬件访问计数器判断哪些区域变热再迁入显存,并在显存填满前批量回收冷区域。在三块 PCIe GPU 的六个应用上,超额订阅时 Ember 相对原生 UVM 取得几何平均加速,LLM 生成吞吐达到 UVM 的数倍,且无需剖析运行或改动应用。

已读完全部报道