NTU S-Lab 团队探索可动 3D 新方向：结构、关节、纹理一次到位

在生成式 AI 进军三维空间的背景下，如何让机器理解物体的结构、关节和运动方式成为研究热点。南洋理工大学 S-Lab 团队提出了一种统一建模框架，能够从单张图像生成具备真实几何结构、准确关节参数和自然外观纹理的可动三维对象，在几何精度、外观一致性和运动合理性上表现优异。

该框架结合结构化潜空间、扩散式 3D 生成和关节感知纹理建模，解决了现有方法对完整三维扫描的依赖、结构与纹理分离建模的不一致性，以及运动可见性变化带来的难题。实验表明，模型在几何结构完整度、关节运动稳定性和外观真实度等方面均优于现有技术，并展现出良好的跨数据集泛化能力。

具体而言，团队将流程分为结构学习、潜空间生成和外观学习三个阶段。首先，通过稀疏三维体素表示捕捉物体的结构与关节信息，并利用变分自编码器压缩为紧凑的潜编码；接着，训练扩散模型生成可动结构；最后，通过关节感知外观微调策略解决运动后纹理缺失或异常的问题。这种方法确保生成的物体在不同关节状态下保持纹理连贯且自然。

这一研究的意义在于构建了一个真正可扩展的可动三维生成框架，大幅降低了创建三维内容的门槛。仅需一张普通图像，即可生成结构合理、关节设置正确、外观逼真的可动三维对象，适用于虚拟现实、游戏制作、机器人学习等领域。此外，该方法具有强大的泛化能力，可推广至机械设备、生物体骨骼等复杂系统。

论文地址：https://arxiv.org/pdf/2510.21432
首批雷峰网 GAIR 2025 重磅嘉宾名单已揭晓，更多行业领军者将齐聚深圳，共探智能未来。