标题：AI版《黑客帝国》：无限生成逼真视频，3A画质，还能实时交互

人类离电影《黑客帝国》的场景又近了一步。最近，首个AI基础世界模拟器——The Matrix问世。它能生成无限长、高保真720p真实场景视频，并且支持实时交互。

The Matrix可以生成长达1小时的视频，用户可以通过W（前）、S（后）、A（左）和D（右）键进行实时控制，每秒16帧，帧帧可控。该模拟器由全华人团队打造，成员来自阿里巴巴、香港大学、滑铁卢大学和加拿大AI研究机构Vector Institute。

The Matrix训练数据包括3A游戏的监督数据和大量现实世界场景的无监督视频。不同于以往研究，The Matrix能在零样本情况下理解并预测不同环境中物体的行为和交互。例如，在未见过的办公环境中驾驶宝马X3，或是在水中游泳的车辆。

The Matrix的核心由三大模块组成：交互模块、移窗去噪过程模型（Swin-DPM）和流一致性模型（SCM）。交互模块用于理解用户输入并整合到视频生成中；Swin-DPM通过滑动时间窗口处理长时间依赖关系，实现无限长视频的生成；SCM则加快推理速度，实现实时生成。

此外，研究人员还开发了一个名为GameData的平台，用于自动捕获游戏中的状态数据和视频帧，并生成标注的动作帧数据集。该数据集结合真实世界视频数据，帮助模型学习具体动作控制并增强视觉质量和域泛化能力。

项目负责人是滑铁卢大学助理教授Hongyang Zhang和阿里巴巴研究员Ruili Feng。The Matrix已在GitHub上开源，供更多人探索和应用。