3D生成补上物理短板！首个系统性标注物理3D数据集上线，还有一个端到端框架

3D生成领域迎来重要进展——南洋理工大学-商汤联合研究中心S-Lab与上海人工智能实验室合作推出了PhysXNet，这是首个系统性标注物理属性的3D数据集。团队还提出了PhysXGen，一个面向真实物理世界的3D生成框架。

现有3D生成方法多关注几何结构和纹理信息，却忽视了物理属性建模。为了填补这一空白，PhysXNet应运而生。该数据集包含超过26K个带有丰富注释的3D物体，涵盖物理尺度、材料、可供性、运动学信息及文本描述等五个核心维度。此外，扩展版本PhysXNet-XL通过程序化生成，提供了600万个带物理注释的3D对象。

PhysXGen是一个前馈生成模型，利用预训练的3D先验知识，结合几何结构、外观和物理属性，生成具备物理自洽性的3D资产。它在生成过程中同步优化物理属性与几何结构，显著提升了生成效果。

数据标注方面，团队设计了一种“人在回路”的高效标注流程，分为初步数据采集和运动学参数确定两个阶段。人工审核确保了标注质量，同时GPT-4o辅助完成基础信息提取。数据分布显示，每个物体平均包含5个部件，物理尺寸和运动学类型呈现多样化特征。

实验表明，PhysXGen在几何外观质量和物理属性生成上均优于现有方法。相比基线模型TRELLIS+PhysPre，PhysXGen在物理尺度、材料、运动学和可供性四个维度上分别实现了24%、64%、28%和72%的性能提升。

这项研究提出了一种端到端的物理基础3D生成范式，为嵌入式AI、机器人学和3D视觉等领域提供了重要资源。论文由南洋理工大学博士生曹子昂、陈昭熹，以及上海人工智能实验室潘亮等人共同完成，通讯作者为刘子纬教授。

论文链接：https://arxiv.org/abs/2507.12465
项目主页：https://physx-3d.github.io/
GitHub代码：https://github.com/ziangcao0312/PhysX-3D