CVPR 2025：单图秒变专业影棚，几何/材质/光影全搞定，数据代码开源

如何从一张普通图像准确估计物体的三维法线和材质属性，一直是计算机视觉领域的难题。传统方法需多角度或多光源拍摄，限制了其实用性。

近日，香港中文大学、上海人工智能实验室及南洋理工大学的研究团队联合发表的论文《Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion》，被CVPR 2025接收。

Neural LightRig创新性地利用图像扩散模型生成虚拟多光照图像，解决了单图估计法线和PBR材质的不确定性问题。研究首次通过微调预训练扩散模型生成一致性多光照图像序列，采用“混合条件策略”和“双阶段微调策略”，确保颜色和纹理细节的一致性。

团队还设计了基于U-Net的G-buffer重建模型，利用多光照图像辅助法线和材质属性估计，优化目标包括余弦相似度损失和均方误差。数据增强策略提升了模型的泛化能力。

实验显示，Neural LightRig在法线和材质估计上优于现有方法，尤其在真实世界图像中表现出色。开源资源已上线，代码、数据集、预训练模型及论文均可访问。