跳到主要内容
返回时间线
ACM Conference on Recommender Systems (RecSys)来源发表:

谷歌在YouTube上线双循环LLM智能体系统,自主发现RMSprop、Gated Path与多目标奖励,多项A/B指标显著提升

核心概要

该工作提出并部署了一套自演化推荐系统,用Gemini系列LLM智能体充当机器学习工程师,通过离线快速循环(Offline Agent,每5分钟唤醒、每日运行)生成并离线打分候选配置、在线慢速循环(Online Agent,每日运行)排序并推进A/B实验,在YouTube多个推荐场景中自主发现了优化器切换(Adagrad→RMSprop、FTRL)、Gated Path(GLU)架构、激活精化、多目标奖励合成与奖励超参调优等改动,多项在线指标在95%置信水平上显著提升,并将实验吞吐从每周Θ(1)–Θ(10)提升到Θ(100)。

Source-provided article image: Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents
Figure 1 · 第 4 页

深度剖析

提出面向工业级推荐系统的自主MLE框架:以共享Experiment Journal为中心,Offline Agent(Fast Loop)负责高频候选生成与离线打分,Online Agent(Slow Loop)负责按北极星指标排序、推进训练、上线实验、回收资源,人类只负责提出初始研究想法与审阅最终指标。 以往AutoML(HPO、NAS、optimizer search)只能在预定义搜索空间内选择或重组操作,无法阅读生产代码、发明新模块或新奖励逻辑;该工作把"AI科学家"范式迁移到真实生产推荐系统,并处理噪声反馈、安全护栏与严格A/B协议。 论文给出完整系统设计与提示模板(图1–图4),并在YouTube多个场景部署;作者报告人类工程师仅参与首尾两个高层步骤。

智能体在优化器与架构上实现了结构性发现:将遗留Adagrad替换为RMSprop(learning_rate=0.005, rho=0.95等),提出类似GLU的Gated Path乘法门架构,并进一步把sigmoid门改为GELU加layer normalization;同时通过调整batch size、epoch与优化器超参把训练时间累计缩短8×(先4×后2×)且不损失业务指标。 这些改动不是从固定算子菜单中挑选,而是智能体直接写出新代码;作者称Gated Path带来部署中最稳健的收益之一,并展示了"先探索新结构、再精化已发现结构"的能力。 离线损失下降与在线流量提升被报告为统计显著;表1给出RMSprop的YouTube级+0.06%[+0.03%,+0.09%]、场景级+0.12%[+0.05%,+0.19%],Gated Path为+0.06%[+0.02%,+0.11%]与+0.14%[+0.08%,+0.21%],均标注95%置信水平显著。

奖励工程上,Reward Persona先用run_sql_query在用户日志上做大规模开放式分析形成假设,再用compute_eval计算与损失无关的代理指标(如long-watch correlation),合成出包含"用户是否主动与站内内容互动"这一新信号的多目标奖励,显著超过人工基线;随后又在无离线指标、仅依赖在线慢循环的情况下,两周内调好四个奖励超参。 作者强调奖励定义改变会改变优化景观,跨奖励比较Lproxy无意义,因此该角色不能使用compute_loss;这使其区别于在机器人或仿真中拥有即时反馈与明确成功判据的Eureka、LEARN-Opt等工作。 多目标奖励合成在表1中为YouTube级+0.05%[+0.02%,+0.08%]、场景级+0.17%[+0.13%,+0.22%];奖励超参调优为+0.05%[+0.01%,+0.08%]与+0.21%[+0.13%,+0.29%],均显著;作者称此前数月人工调参未能同时改善两级指标。

消融实验显示发现能力依赖模型推理力与上下文工程:Gemini 2.5 Pro(opt_2p5,归一化损失−0.84[−1.70,−0.01])优于Gemini 2.5 Flash(opt_flash,0.85[0.66,1.05]);去掉专家MLE人设(opt_no_role,−0.52)、按时间而非损失排序(opt_no_sort,0.06)、只给top-1(opt_top_1,0.11)或无历史(opt_no_context,1.05)均变差,完整且按离线损失排序的历史(opt_top_5,−0.72)接近基线。 这组对照把"智能体能否发现"拆解为可测量的因素,指出专家人设与完整排序历史是迭代发现的关键,而不仅是模型规模问题。 结果在优化器组件任务上取6次独立运行、每次探索70个想法的平均归一化z分数,并给出区间。

启示与展望

该结果面向拥有大规模生产推荐系统、可承受每日训练与在线A/B流量、并具备持久实验日志与安全护栏的工程团队;它使这类团队能把人力从重复的代码生成、编译与实验编排中释放出来,转向设定战略护栏、伦理约束与长期愿景。方法本身被描述为模型无关,但部署环境是YouTube视频观看页上基于价值函数的RL排序模型,训练通常需要Θ(小时)。对希望借鉴的读者,可直接复用的是双循环分工、共享Experiment Journal、delta式提案与专家人设提示这几项设计。

读者仍需留意:核心在线收益来自单一公司平台,跨公司、跨领域的普适性尚未验证;表1中部分条目(如4×训练效率的YouTube级−0.01%[−0.05%,+0.03%]、激活精化的−0.02%[−0.05%,+0.01%])区间跨越零,说明并非每项改动都在每个指标上稳健;消融实验仅针对优化器组件,架构与奖励角色的同类敏感性未单独给出;论文未披露候选被拒绝或失败的比例,也未给出智能体提案的长期稳定性与安全事件统计。此外,本文为全文解析,图1–图4为架构与提示模板示意,具体提示词全文与工具实现细节需查阅原文与代码。未来值得观察的是:这套框架在非推荐类工业ML系统上是否同样有效,以及当人类工程师只保留首尾两步时,如何界定与审计智能体的决策边界。