TIDE 把推理中产生的隐藏状态直接用于草稿模型在线适配,在真实负载上实现最高 1.66 倍吞吐并挽回静态草稿模型失配时的性能下降
TIDE 是一个内嵌于服务引擎的框架,它把目标模型推理过程中产生的中间隐藏状态复用为草稿模型在线适配的训练信号,从而避免额外的目标模型计算与服务开销,并配合自适应运行时控制仅在有利时启用推测与草稿训练、把推理与训练映射到合适的 GPU 类别;在多样真实负载上,TIDE 相对无推测基线取得最高 1.66 倍吞吐,在静态草稿模型导致吞吐下降的失配负载上恢复性能,相比既有草稿训练方法把训练时间最多缩短 3.02 倍、存储需求最多降低 24 倍,并在异构 GPU 集群上把系统吞吐最多提升 1.22 倍。