跳到主要内容
检索

# SlimFM 框架

1 篇关联报道

订阅更新
  1. arXiv

    LLaMA3-8B压到4.5B参数:SlimFM把大模型语义搬进点击率在线服务,延迟降到约16毫秒

    点击率预测引入大语言模型语义时,此前只能把LLM输出离线缓存,在线只跑小型CTR模型。SlimFM用依赖感知结构化剪枝把LLaMA3-8B压到4.5B参数,再用LoRA做字段级语义微调,并把字段嵌入注入常规CTR模型的特征交互。在四个数据集、六个CTR骨干上,它保留未压缩模型99%以上的准确率,单样本推理延迟为15.98–17.58毫秒。

已读完全部报道