跳到主要内容
检索

# 智能体级公平性

1 篇关联报道

订阅更新
  1. arXiv

    智能体共享推理开始按落后程度排队:Duru把p99归一化减速降44.4%,吞吐守住九成以上

    多个AI智能体共用同一套推理基础设施时,长上下文请求和KV缓存驻留会让部分智能体被反复拖慢,而按token或单次请求计的公平机制看不到这种跨多次调用的累积延迟。Duru把每个智能体的归一化减速作为统一控制信号,在路由层和运行时层协调准入与调度,并用准入例外和SLO驱动的自动扩缩容缓解饥饿。在三种模型、三份真实智能体负载和NVIDIA与AMD GPU的15个设置上,Duru把p99归一化减速的几何平均降低44.4%(最高79.5%),同时保持基线吞吐的91.8%–127.4%。

已读完全部报道