智能体共享推理开始按落后程度排队:Duru把p99归一化减速降44.4%,吞吐守住九成以上
核心概要
多个AI智能体共用同一套推理基础设施时,长上下文请求和KV缓存驻留会让部分智能体被反复拖慢,而按token或单次请求计的公平机制看不到这种跨多次调用的累积延迟。Duru把每个智能体的归一化减速作为统一控制信号,在路由层和运行时层协调准入与调度,并用准入例外和SLO驱动的自动扩缩容缓解饥饿。在三种模型、三份真实智能体负载和NVIDIA与AMD GPU的15个设置上,Duru把p99归一化减速的几何平均降低44.4%(最高79.5%),同时保持基线吞吐的91.8%–127.4%。
深度剖析
共享推理集群里的公平问题从单次请求挪到了整个智能体会话:一个智能体连续多次调用模型,延迟会逐次累积,因此按token或按请求计的公平并不等于任务完成上的公平。 此前的LLM服务公平研究在token层和请求层做均衡,近期的智能体感知系统则主要优化吞吐、延迟和KV缓存复用,对并发智能体之间的公平关注相对有限。 在Qwen3-Coder-30B-A3B、Llama-3.3-70B和DeepSeek-V4-Flash三种模型、Azure、TraceLab和AgentX三份真实智能体执行轨迹以及AMD MI300X与NVIDIA H100上共15个模型—负载—硬件设置中,Duru把p99归一化减速的几何平均降低44.4%,其中14个设置降幅为13.8%–79.5%,同时吞吐为基线的91.8%–127.4%。
Duru用“相对单独运行慢了多少”来定义公平:把共享执行时间与离线标定的单独执行时间相比,再按理想处理器共享折算成归一化减速,分数越高说明该智能体越落后于应得份额。 单独执行时间无法在共享运行时直接观测,Duru改为用同一模型、硬件和服务配置下测得的prefill与decode延迟表做插值,逐次迭代累加估计,不需要预知请求的输出长度或未来调用。 在Qwen3-Coder-30B-A3B(RTX PRO 6000)上,534个Azure与TraceLab会话的估计误差平均绝对相对值为1.9%和1.8%,最大4.1%和4.2%;在Llama-3.3-70B(2块H100,TP=2)上,200个会话共195万输出token,三份轨迹的平均误差为0.2%、0.3%和0.1%。
路由层和运行时层共用同一个减速分数排序,并在工作集预算耗尽时对落后智能体强制准入,从而把等待从一层转移到另一层的问题压回去。 按缓存亲和或按token公平做准入的策略,会把不公平从GPU执行转移到路由排队,长上下文预填充与并发解码的干扰也无法靠调度单独消除。 在48小时Azure GitHub Copilot生产轨迹回放中,Duru的智能体级SLO达成率为97.4%,NVIDIA Dynamo为93.4%,llm-d为70.2%,吞吐接近,平均使用76块GPU而Dynamo为89块。
启示与展望
评估覆盖Qwen3-Coder-30B-A3B、Llama-3.3-70B和DeepSeek-V4-Flash三种模型,Azure、TraceLab和AgentX三份真实智能体轨迹,以及AMD MI300X与NVIDIA H100平台,另有H200和RTX PRO 6000用于干扰刻画;8到256块GPU的扩展性与自动扩缩容通过DynoSim模拟完成,模拟中关闭了主机内存KV缓存卸载。
归一化减速依赖离线标定的单独执行延迟表,换部署配置需要重新标定;在Azure负载上,长预填充与并发解码的干扰使Qwen在H100上的公平改善弱于其他负载,调度无法消除这部分执行干扰;准入例外阈值过小会压低KV缓存命中率并可能反而恶化公平。
