跳到主要内容
返回时间线
Google DeepMind来源发表:

DeepMind 发布 Genie 4 世界模型:实时画面之外,环境声与角色对话也一起生成

核心概要

Google DeepMind 发布世界模型 Genie 4,在实时交互模拟中同时生成画面、环境声与角色对话,并借助 Gemini 系列模型维持场景连贯。此前 Genie 3 已于 2025 年 8 月把实时世界模型推到前沿,但音频并非原生生成。Genie 4 以研究预览形式先向受信任测试者开放,官方说明其视觉细节与物体恒常性在长时间运行或多次复杂提示编辑后仍可能漂移。

Source-provided article image: Genie 4: A new generation of world simulation — Google DeepMind
Google DeepMind

深度剖析

Genie 4 把实时世界模拟从画面扩展到声音与对话:每个世界自带所处环境的环境声,角色还能与用户输入或场景事件实时对话并作出反应。 DeepMind 此前在 2025 年 8 月发布 Genie 3 作为世界模型的新前沿,而 Genie 4 是该公司首个原生生成音频的实时世界模型。 官方以实时交互录像展示效果,用户用标准键盘控制导航与镜头、用文本提示引导场景演变,演示中的伴音均由 Genie 4 直接生成。

模拟的连贯性由 Gemini 模型在后台承担:Gemini Omni 把模拟锚定在真实世界的外观与行为上,其他 Gemini 模型提供维持场景连贯与连续所需的推理。 Gemini 3.8 Flash 在循环中充当引导智能体,实时观察 Genie 4 生成的场景,把目标拆成步骤序列,并检查传入帧以跟踪进度、确认每一步是否完成。 当世界变化或用户介入时,Gemini 会即时调整计划;DeepMind 还试验了 Gemini 4 Argon 与 Genie 4 配合,把用户指令拆成步骤并以文本字幕形式穿插送入模拟,用于模拟 Apptronik 的 Apollo 人形机器人下跳棋。

启示与展望

Genie 4 目前以研究预览形式向受信任测试者开放,之后将面向 Project Genie 中的 Google AI Ultra 订阅者,以及 Gemini API 和 Google AI Studio 的早期访问伙伴。官方描述的测试场景包括创意产业的预可视化、把单张二维档案照片在数秒内变成该环境的有依据模拟、游戏原型设计与跨行业仿真场景生成。

DeepMind 明确称 Genie 4 仍是早期实验性模型:它能在短时段内维持连贯环境,但视觉细节与物体恒常性会随时间漂移,在模拟运行较久、经历多次复杂提示编辑或在场景中穿行时尤为明显。复杂物理交互、实时音频准确性、可读文本渲染、空间准确性与长期一致性都列为在研问题。