跳到主要内容
检索

Tingjie Chen

1 篇关联报道

订阅更新
  1. Scientific Reports

    手机与云端分摊生成式推理:MAGS用报价代替抢单,p99延迟降17.1%

    生成式查询的代价要等答案生成完才知道,设备只能提前占资源,多台设备还会同时涌向同一台服务器。MAGS让每台设备先用本地小模型的四层探针预测token数与生成熵,再按服务器广播的拥塞价格竞标云端容量,并在同一次出价里选定每token的隐私参数。在相同观测与调参预算下,十个随机种子上它相对反应式PPO基线把p99延迟降低17.1%、每token能耗降低13.6%、吞吐提高20.7%;八设备两服务器实测把卸载决策的跨设备相关性从0.41降到0.08。

已读完全部报道