LLaMA3-8B压到4.5B参数:SlimFM把大模型语义搬进点击率在线服务,延迟降到约16毫秒
点击率预测引入大语言模型语义时,此前只能把LLM输出离线缓存,在线只跑小型CTR模型。SlimFM用依赖感知结构化剪枝把LLaMA3-8B压到4.5B参数,再用LoRA做字段级语义微调,并把字段嵌入注入常规CTR模型的特征交互。在四个数据集、六个CTR骨干上,它保留未压缩模型99%以上的准确率,单样本推理延迟为15.98–17.58毫秒。
点击率预测引入大语言模型语义时,此前只能把LLM输出离线缓存,在线只跑小型CTR模型。SlimFM用依赖感知结构化剪枝把LLaMA3-8B压到4.5B参数,再用LoRA做字段级语义微调,并把字段嵌入注入常规CTR模型的特征交互。在四个数据集、六个CTR骨干上,它保留未压缩模型99%以上的准确率,单样本推理延迟为15.98–17.58毫秒。
已读完全部报道