历史压缩不再逐候选重算:X-split ARGUS 在实时竞价系统把转化价值提升4.65%
核心概要
广告点击率预测需要长行为历史,但每次排序请求都重新编码历史会挤占线上算力与延迟预算。X-split ARGUS 把历史压缩成一组与候选广告无关的令牌,离线算好、跨请求复用,线上排序器只对候选做交叉注意力并读取最近事件。离线归一化熵相对 Context-aware ARGUS 降低0.81%,保留未压缩教师模型七成以上改进;线上A/B测试中转化价值提升4.65%、点击数提升2.96%,代价是同等流量下多用15%同型号在线GPU。
深度剖析
长行为历史不再在每次排序请求里从头编码,而是压缩成一组可跨候选复用的历史令牌,线上只处理最近事件和候选广告。 此前的 Context-aware ARGUS 用双塔结构,用户塔同时包含历史压缩器和运行时编码器,候选广告由物品塔表示,两者以点积打分。 在覆盖365天历史的内部实时竞价日志上,X-split ARGUS 的归一化熵为0.7146,Context-aware ARGUS 为0.7204,相对降低0.81%;不做压缩的教师模型为0.7123,相对降低1.136%,压缩学生保留了教师改进的71.6%。
历史压缩器与线上排序器端到端联合训练,压缩器输出的令牌不依赖候选广告,因此可以离线预计算并在请求之间复用。 压缩器是一个带因果自注意力的 Transformer,对历史事件做一次前向,取前缀末尾的若干上下文状态作为压缩表示;运行时编码器用滑动窗口处理最近事件。 排序器以候选为查询、以压缩令牌与最近事件状态为键值做交叉注意力;训练时另有一个处理未压缩历史的更大教师模型,其逐候选点击 logit 通过蒸馏头监督学生,蒸馏权重为0.15,教师不进入线上打分路径。
启示与展望
结果来自该实时竞价系统最大的广告面,约占其总流量50%,A/B测试为期七天、实验组与对照组各占该面6%流量;离线对比使用覆盖365天历史的内部工业数据集,训练与测试之间留一天间隔、测试期为三天。
固定检查点的相对优势随训练数据与预测之间间隔增大而近似线性衰减,约每天0.05个百分点,因此部署模型按最近三天目标每日微调,数据准备到上线仍留有约一到两天的间隔;消融中加深编码器同时改变了容量与上下文传播,两者未分开。
