标题：游戏bug帮大模型学物理！准确率超GPT4近4个百分点

融合物理知识的大型视频语言模型PhysVLM开源了！它不仅在PhysGame基准上展现出最先进的性能，还在通用视频理解基准Video-MME和VCG上表现出色。

在以前的研究中，让AI像人类儿童一样通过观察世界理解基本物理常识是一个主要挑战。游戏视频通常包含违反物理常识的“故障现象”，这有助于简化物理常识的理解和评估，即专注于解释物理常识的违反现象。

PhysVLM在专门整理的数据集上训练，包括用于评估的PhysGame基准、用于监督微调的PhysInstruct数据集和用于偏好对齐的PhysDPO数据集。

PhysGame基准包含880个含有故障现象的游戏视频，每个视频配有一个高质量的多项选择题，专门针对故障现象的性质进行标注。PhysGame涵盖了力学、运动学、光学和材料属性四个关键物理领域，并细分为12个具体类别。

视频收集和过滤过程中，视频主要从Reddit页面抓取，团队还通过关键词搜索从YouTube增强视频数据。团队进行了人工筛查，确保视频无重复且不含非游戏元素。

PhysGame基准的质量控制包括人工检查和LLM辅助检查。人工检查确保所有初步标注的问答对准确无误，LLM辅助检查则去除了可以不看视频就能由GPT-4正确回答的问题。

PhysInstruct数据集用于监督微调，PhysDPO数据集用于偏好对齐。PhysDPO数据集通过元信息篡改、时间篡改和空间篡改生成误导性答案。

模型评估结果显示，PhysVLM在所有专有和开源模型中都达到最先进的性能。在PhysGame基准上，PhysVLM-DPO比最佳表现的专有模型GPT-4高出3.4%的准确率。在Video-MME基准上，PhysVLM-SFT和PhysVLM-DPO在短视频和长视频上的表现优于34B模型LLaVA-NeXT-Video。在VCG基准上，PhysVLM-SFT在信息正确性和一致性类别上表现尤为出色。

PhysVLM相关论文、代码、数据均已开源： https://arxiv.org/abs/2412.01800 代码链接: https://github.com/PhysGame/PhysGame leaderboard: https://physgame.github.io/#leaderboard