手机与云端分摊生成式推理:MAGS用报价代替抢单,p99延迟降17.1%
核心概要
生成式查询的代价要等答案生成完才知道,设备只能提前占资源,多台设备还会同时涌向同一台服务器。MAGS让每台设备先用本地小模型的四层探针预测token数与生成熵,再按服务器广播的拥塞价格竞标云端容量,并在同一次出价里选定每token的隐私参数。在相同观测与调参预算下,十个随机种子上它相对反应式PPO基线把p99延迟降低17.1%、每token能耗降低13.6%、吞吐提高20.7%;八设备两服务器实测把卸载决策的跨设备相关性从0.41降到0.08。
深度剖析
边缘设备不再在不知道查询代价的情况下盲目争抢云端算力,而是先估计这条查询会生成多少token,再按服务器公布的拥塞价格出价购买容量。 此前的边缘调度把一次请求当作不透明的工作单元,只在拥塞形成之后才做出反应;语义方法如PICE按周期而非逐条查询估计难度。 在50台设备、10,000个测量时隙、十个随机种子的仿真中,MAGS的p99延迟比获得完全相同观测和同等调参预算的RPPO+低17.1%,每token能耗低13.6%,吞吐高20.7%,八组配对比较在双侧精确Wilcoxon检验下均为0.002。
每台设备在本地小模型上跑一个四层探针,回归出预计token数和生成熵,两者合成预测工作量,作为出价与调度的依据。 探针深度取验证集上回归质量落在最佳深度一个标准误内的最浅层,代价为14.6毫秒;回归头是宽256的两层感知机,共131万参数。 在留出测试集上,token数预测的平均绝对百分比误差为6.7%;分布内Spearman秩相关为0.92,在CaseHOLD上降到0.71。
服务器先公布由队列和上一时隙总需求算出的拥塞价格,设备在此价格下最大化自身效用,价格调整到需求与容量匹配为止。 把总需求从求和改为求平均后,智能体之间的耦合不再随设备数增长,这正是收敛分析所需的条件。 在固定观测、容量与调参预算的全因子实验中,给已有价格的系统加入预测在25、50、100台设备上分别值113、133、189毫秒;反过来给已有预测的系统加入价格则值71、82、134毫秒,两个边际都不因对方存在而消失。
隐私参数被并入同一次出价,按每条查询选择,而不是全局固定一个噪声水平。 此前的协作推理把隐私当作事后加上的固定噪声,对例行查询和医疗问题施加同样的保护。 在每token预算为2时,拆分加去噪在GSM8K上保留未加噪基线94.6%的Pass@1,同时把提示重建BLEU从0.718降到0.076,成员推断AUC从0.782降到0.529。
启示与展望
演示范围是50台异构设备的离散事件仿真,加上一台边缘节点配一台服务器、以及八台设备配两台服务器的两套物理测试台;八设备规模比给出可扩展性结论的密度低两个数量级,因此表15中的密度结果仍为仿真。作者指出,服务器能承载多少设备与其实测的每秒接纳查询数成线性关系,表15与该速率足以用来估算部署规模。
形式化隐私预算偏弱:每条查询25次释放、每天40条查询,在每token预算为2时每用户损失为61.3,作者称这一量级的最坏情况约束很有限。已实现的learner不满足定理1的四个简化假设,收敛只是十个种子上的经验结论。填充后的载荷大小、执行路径与数据包时序仍是私有输入的确定性函数,只做了测量与缓解,没有给出界。假名轮换周期同时决定隐私损失与声誉可观测时长,作者未解决这一冲突。
