具身空间数据技术的路线之争：合成重建 vs 全端生成

具身智能的发展离不开高质量数据。然而，现实数据采集成本高昂，促使合成数据技术的重要性凸显。当前，具身合成数据领域存在两大技术路线争议：“视频合成+3D重建”或“端到端3D生成”。

自动驾驶的成功经验表明，前者的模态转换链路过长易导致误差累积；后者虽理论上信息效率更高，但需克服“常识欠缺”等挑战。英伟达指出，目前机器人领域尚无互联网规模的数据，尽管自动驾驶已实现城市级仿真，但家庭等室内环境的3D合成平台仍缺乏。

为解决“常识欠缺”问题，本文提出“模态编码”新方案，打破传统“排布=几何”的限制，通过数字化编码、特征提取及隐式学习生成可被理解与使用的空间。结合强化学习，探索生成更贴近实际需求的空间。

具身智能面临“强身体，弱大脑”的困境。机器人虽能精准行走，但在陌生环境中任务执行困难重重。机器缺乏对空间的理解力，难以主动理解人类意图。因此，系统必须掌握三维场景知识，否则再精妙的算法也难以支撑复杂环境下的自主行为。

当前具身智能数据稀缺且不够用，主要来源包括真实扫描数据、游戏引擎搭建环境和开源合成数据集，但均存在不足。相比之下，自动驾驶已形成完整数据闭环，而室内场景需兼顾视觉真实与物理行为真实，尤其家庭场景的多样性让全面采集训练数据不现实。

机器人合成数据可分解为场景生成（Gen）与模拟（Sim）两部分。其中，场景生成是瓶颈，主要技术路径为“视频合成+3D重建”和“AIGC直接合成3D数据”。前者基于像素驱动，生成精度有限且误差累积，后者直接生成结构化数据，但生成质量偏低。

“视频合成+3D重建”路径如李飞飞团队的BEHAVIOR基准及“世界模型”研究，虽生成场景但缺乏清晰语义标注。“SpatialVerse + SpatialLM”技术通过微调LLM增强语义理解，但仍面临物理一致性和精度问题。

“端到端3D直接生成”路径采用图神经网络（GNNs）、自回归Transformer、扩散模型等方法。MIT团队提出的超图模型提升空间利用效率，ATISS利用自回归模型生成布局，LEGO-NET优化布局合理性。程序化生成方式如Infinigen和ProcTHOR则具备较高可控性，但适应性较差。

尽管端到端方法在理论上更高效，但生成质量低、缺乏常识。视频合成路线依赖真实视频，具备自然常识，而端到端生成需引入专业知识以弥补空白。

为解决生成质量与控制力问题，“模态编码”技术将设计知识融入生成过程，通过强化学习策略优化生成结果。未来，具身智能可能依赖这种既能嵌入规则又能支持交互的空间数据生成体系。

数据是AI时代的石油，合成数据不仅是虚拟替代品，更是迈向通用能力的关键推动力。