MIT最新研究揭示，大型语言模型不仅具有强大的学习能力，而且能够对现实世界形成独特的理解。在一项研究中，研究人员发现随着模型能力的增强，其对现实世界的理解不仅仅是简单的数据模仿，而是能够自主模拟某些概念，从而促进对语言和世界的深入理解。这项突破性的研究，标志着大模型在未来有可能更深层次地理解语言与现实，已被国际机器学习顶级会议ICML 24接收。 研究团队采用了一种创新方法，仅通过学习代码文本，让大模型逐步掌握了程序背后的意义。通过构建包含50万个程序的合成数据集，以及设计一套由线性分类器和单/双隐层多层感知机组成的探测器组合，他们观察到了模型在三个阶段的演化：从“胡言乱语”到“语法习得”，再到“语义习得”。特别是在“语义习得”阶段，模型展现出了一定的“面向未来的推理能力”，即在生成每一步之前，就能预见接下来的操作及其带来的状态变化。这一发现不仅证明了大模型对代码具有深层理解，还引发了关于模型如何获得这种理解机制的进一步探讨。 这项研究对于人工智能领域具有重要意义，不仅推动了我们对大模型理解能力的认识，也为未来开发更智能、更灵活的AI系统提供了理论基础和实践启示。随着研究的深入，预计会有更多关于大模型认知机制的发现，这将对AI的发展产生深远影响。