PlayGen2把游戏世界拆成3D状态与渲染:转身后走廊仍在,10分钟探索接触错误率5.2%–6.8%
核心概要
PlayGen2把可玩世界的生成拆成两件事:一个学习得到的世界状态模型维护持久的三维占用栅格和带身份编号的实体状态,另一个神经渲染器只负责把状态投影成第一人称画面。此前以生成帧作为唯一循环表示的模型,必须用同一份视角相关的视觉信号同时保住几何、跟踪实体并合成外观。在Doom测试台上,模型学会了考虑几何的玩家移动和玩家与NPC的交互,十分钟探索中累计接触错误率为5.2%–6.8%,动作识别准确率为82.1%–85.6%。
深度剖析
可玩世界的生成不再把生成的画面当作唯一的世界记忆,而是让一份显式的三维状态在交互中持续存在并被更新。 此前以生成帧作为唯一循环世界表示的模型,需要靠同一份视角相关的视觉信号同时维持几何、跟踪实体、预测交互并合成外观,视野之外的信息只能从视觉记忆中恢复。 在Freedoom2 MAP01上训练后,模型在十分钟模拟探索中的累计接触错误率为5.2%–6.8%,动作识别准确率为82.1%–85.6%,且五到十分钟之间两项指标保持相对稳定。
世界状态模型在一个以玩家为中心的固定大小三维区域内,同时学习按动作推进实体、补全未知几何和发现新出现的实体。 状态更新以玩家动作、实体历史和几何上下文为条件,结果写回持久世界记忆,因此生成过的区域在重访时仍然存在,活动区域之外的实体记录也被保留。 训练数据是约500小时、约500 GB的自动采集Doom玩法,世界状态模型和渲染模型分别有41.2 M和29.1 M参数,在四块NVIDIA A100上训练约三天。
渲染器只从世界状态的深度与语义投影合成画面,生成的图像不会回流到状态预测。 外观合成与状态演化被分开训练,渲染器以投影出的场景条件和最近四帧RGB历史为输入,RGB历史只用于维持视觉连续性。 在训练地图上,一分钟时两套系统的视觉质量相当;到五分钟时PlayGen出现明显退化,而PlayGen2在全局初始化下五项指标均更好,其LPIPS在1、5、10分钟三个阶段保持在0.41–0.44。
启示与展望
演示范围限于Doom测试台:训练只用Freedoom2 MAP01,未见地图评测用Scythe的七个关卡,交互与效率在MacBook Pro的M4 Pro芯片上测量。读者对象是关心交互式世界模型与神经渲染衔接方式的研究人员和工程师。
未见地图上的参考指标同时反映结构差异和外观差异,因为深度与语义条件并不指定Scythe原生纹理,所以这些数字需要与定性结果和时间变化一起解读。多人组合与可编程玩法是在不更新权重的情况下演示的,训练数据仍只来自单玩家玩法。
