OpenCity大模型在预测交通路况方面表现出色,特别是零样本情况下。香港大学与华南理工大学、百度合作推出OpenCity,针对传统模型在泛化性与长期预测能力上的不足。OpenCity结合了Transformer架构和图神经网络,预训练于大规模、异质性交通数据集,以学习丰富的、具有泛化性的表征。
相比传统方法,OpenCity具备以下特点: 1. 通用时空建模:有效处理不同空间区域和时间的城市交通模式多样性。 2. 零样本预测能力:在零样本情况下展现出优越性能,无需广泛重新训练或微调即可应用于新环境。 3. 快速情境适应:微调后能快速适应不同天的时空预测任务。 4. 可扩展性:展现出有希望的缩放定律,易于在新场景下部署。
OpenCity面临的主要挑战包括: - 跨区域空间泛化能力:不同地理位置的交通模式差异大,现有模型受限于特定区域数据学习。 - 时间泛化与长期预测:难以处理更长时间范围内的交通预测,捕捉动态变化能力有限。 - 学习通用表征与时空异质性:需要模型能处理交通数据中的固有多样性与分布变化。
为解决这些挑战,研究团队采取了新策略,包括: - 分布偏移泛化的时空嵌入:采用实例归一化处理数据分布偏移。 - 高效长期预测的Patch嵌入:通过Patch操作降低计算与内存需求,提高长期预测效率。 - 时空上下文编码:整合时间与空间上下文,增强模型对复杂时空模式的理解。 - 时间与空间依赖性建模:分别编码周期性交通转换与动态交通模式,捕捉交通网络结构信息。 - 快速适应能力探索:验证模型在新场景下的快速适应能力。
OpenCity在零样本与有监督预测性能方面表现出色,尤其在快速微调后,其性能显著提升,适应能力增强。通过消融实验,证明了动态交通建模、周期性交通转移建模、空间依赖性建模和时空上下文编码的重要性。在数据与参数的可扩展性研究中,OpenCity展示了从大规模数据中提取知识的能力,参数扩展增强了其学习能力。
与大规模时空预测模型比较,OpenCity在性能与效率上实现了双赢,特别是在零样本泛化能力与数据处理效率方面。OpenCity模型的详细信息、代码及项目主页可查阅相关链接。
-
2025-10-24 21:54:02 -
2025-10-24 21:53:50 -
2025-10-24 19:49:44