标题：谷歌邀马斯克联手开发AI游戏，DeepMind版Sora是个3D游戏引擎

下一代世界模型来袭，只需一张图就能生成多种3D游戏世界。谷歌推出Genie 2，能响应键鼠操作，提供可玩性和可控性。

与以往研究相比，Genie 2具备长期记忆功能，即使玩家视线转移再回来，也能稳定渲染已存在的世界部分。

游戏世界中还可加入其他AI NPC，与玩家控制的角色进行复杂互动。这意味着用户可以用文字描述他们理想中的世界，选择喜欢的呈现方式，然后进入并与其互动！

马斯克对此表示赞赏，随后DeepMind创始人Hassabis邀请他共同开发AI游戏，马斯克欣然应允。鉴于马斯克此前声称xAI将成立AI游戏工作室，双方合作的可能性很大。

谷歌DeepMind的研究不仅为了娱乐人类，还旨在训练和评估具身智能体。通过创建多样化环境，Genie 2能够生成AI在训练期间未见过的任务，例如通过文字指令让智能体打开正确的门。

尽管研究尚处初期，谷歌坚信Genie 2能在保障安全训练具身智能体的同时，满足实现通向通用人工智能（AGI）所需的能力。

此前，世界模型研究主要局限于特定领域，如《我的世界》的Oasis模型。Genie 1实现了生成多样2D世界的方法，而Genie 2则实现了向生成丰富3D世界的飞跃，展示了世界模型的涌现能力，包括对象交互、复杂角色动画、物理模拟及预测其他智能体行为的能力。

Genie 2依靠扩散模型，是一种自回归潜空间扩散模型，在大型视频数据集上训练。经自编码器处理后，视频的潜在帧被传递至大型Transformer动力学模型，使用类似大型语言模型的因果掩码进行训练。在推理时，Genie 2可以逐帧自回归采样，使用classifier-free指导提高操作可控性。

目前，提供的视频示例由蒸馏模型生成，虽能做到实时控制，但输出质量有所下降。

值得一提的是，两天前，李飞飞创立的World Labs也发布了单张图像生成3D世界的技术。这一领域正受到越来越多的关注。