跳到主要内容
返回时间线
arXiv来源发表:

LLaMA3-8B压到4.5B参数:SlimFM把大模型语义搬进点击率在线服务,延迟降到约16毫秒

核心概要

点击率预测引入大语言模型语义时,此前只能把LLM输出离线缓存,在线只跑小型CTR模型。SlimFM用依赖感知结构化剪枝把LLaMA3-8B压到4.5B参数,再用LoRA做字段级语义微调,并把字段嵌入注入常规CTR模型的特征交互。在四个数据集、六个CTR骨干上,它保留未压缩模型99%以上的准确率,单样本推理延迟为15.98–17.58毫秒。

Source-provided article image: Slim Foundation Models for Latency-Critical Recommendation Serving
arXiv

深度剖析

大语言模型的语义信息现在可以随点击率模型一起在线推理,而不必提前算好缓存。 此前的LLM增强点击率方法把LLM输出离线预计算并缓存,在线只服务CTR模型,因此条目或特征目录一变就要重新生成缓存。 在四个公开点击率数据集和六个CTR骨干上,SlimFM的单样本推理延迟为15.98–17.58毫秒,而KAR为54.62–55.08毫秒、LLM-CF为46.46–47.53毫秒,这一差距在六个骨干上一致成立。

压缩后的模型仍能给出有区分度的字段级语义嵌入,供CTR模型的特征交互使用。 剪枝按结构耦合参数分组,用下一词预测损失的泰勒展开估计各组重要性,逐组删除直到达到目标稀疏度。 在FM骨干上,8B模型的平均AUC为0.7346,剪到4.5B后平均AUC为0.7329,恢复率为99.77%;剪到6B时恢复率为99.88%,剪到2B时降到99.62%。

字段级语义通过对比学习训练,并以可学习权重重新加权CTR模型的两两特征交互。 微调只更新注意力投影矩阵上的LoRA适配器,剪枝后的骨干保持冻结。 训练时用字段识别任务构造提示,让模型把特征值归到候选字段名,并以InfoNCE式对比损失优化;推理时直接部署剪枝骨干,无需预缓存。

启示与展望

评估覆盖四个公开点击率数据集(Amazon Gift Cards、Amazon Video Games、Amazon Digital Music、MovieLens-1M)和六个CTR骨干,LLM侧只使用LLaMA3-8B一个模型家族;延迟为单样本推理、50次运行取平均并含10次预热。

剪枝到2B时恢复率进一步降到99.62%,下降在Gift Cards和Video Games上最明显;向其他骨干、领域和LLM架构的泛化仍待验证。