跳到主要内容
返回时间线
arXiv来源发表:

Game2Player让智能体边建游戏环境边练操作:9B模型在留出游戏上的进度从14.3%升到31.2%

核心概要

视觉智能体要玩会游戏,需要动作、目标和可验证的成功信号,而人工录像昂贵、视频缺动作、逐个改造游戏又费工程。Game2Player让一个Builder智能体把网页游戏改造成可离线复现、能读取内部状态的环境,再由写代码的Coding Player和看截图的VLM Player试玩并报告缺陷,边验证环境边采集数据。用568个游戏、3,436个任务和15.7K条轨迹训练后,Game2Player-9B在留出的PlayerBench上把进度从14.3%提到31.2%,在外部GameWorld上从30.0%提到53.1%。

Source-provided article image: Game2Player: Scaling Gameplay Experience for Visual Agents through Environment-Player Co-Development
arXiv

深度剖析

游戏经验可以不再依赖人工录制或事后补标注,而是由智能体在改造过的网页游戏里自己玩出来,并且每一步都带着任务指令和由游戏状态读出的进度。 此前要么采集人类游玩录像,要么从视频反推动作再补目标和结果,要么为每个游戏单独做工程改造,覆盖范围因此受限。 在20个游戏、145个冻结任务的受控重建中,玩家报告把实现正确的任务从65%提到72%,把代码策略解出的任务从34提到46;同一模型换成通用编码智能体时,145个任务里只有25个环境正确、解出1个。

环境与玩家一起开发:Builder把游戏打包成固定种子、可暂停的离线环境,暴露状态探针和玩家可见状态,并为每个任务写好起始、进度和成功判定。 Builder自己的测试用的是它设计的输入和它暴露的变量,因此可能漏掉只有真正试玩才会遇到的缺陷,比如某个按键无效或进度永远不动。 两个玩家逐任务试玩后提交缺陷报告或观测请求,Builder先回放录像核对再修复;在There Is No Game中,Coding Player报告字母O掉落后进度停在0.9,修复后9个任务全部正确且可解,而无报告时9个任务全部错误。

两个玩家采集的数据互补:代码策略不调用模型、可换种子重跑,VLM Player则保留自己的动作说明和思考文本。 代码策略按实时连续操作,需要切成与评测一致的逐步动作;VLM Player每一步都要等模型决策,采集速度慢得多。 两者合计录得15.7K条轨迹、307小时游玩,其中代码策略贡献87.7%的训练样本、VLM Player贡献12.3%;一小时内代码策略记录7,775个步骤,VLM Player只记录354个。

训练按进度给样本加权,把权重放在真正推动任务前进的动作上,而不是均匀采样整条轨迹。 一条轨迹里大量步骤在等待、游荡或纠错,只有少数动作带来进度跃升。 在相同样本量下,进度加权SFT把PlayerBench进度从20.9%提到23.4%(4B)和从23.9%提到28.6%(9B),在GameWorld上从33.5%提到34.9%和从31.1%提到33.9%。

启示与展望

已演示的范围是可在浏览器离线运行的单人网页游戏,覆盖七种引擎和25个以上类型;评测在50个留出游戏、287个任务的PlayerBench和34个游戏的GameWorld上进行,模型在每一步暂停游戏后决策。

被接受的环境并不保证正确:接受只依赖Builder自评、脚本门禁和玩家报告,没有完整人工审计;审计发现GPT-6.1 Terra Builder构建的任务中72%实现正确,GPT-6.1 Sol Builder为94%,而对PlayerBench全部287个任务的人工复核未发现环境或评分错误。此外,暂停决策的设定不衡量实时延迟下的表现,Builder与玩家多为版本会变化的专有模型,换模型重建可能得到不同环境。