标题：Ilya宣判：预训练即将终结！NeurIPS现场沸腾

在最近的NeurIPS 2024上，Ilya Sutskever发表了关于预训练终结和超级智能即将到来的观点。尽管演讲仅15分钟，但内容引人深思。

Ilya表示：“我们所熟知的预训练即将终结。”未来将是超级智能的时代，即具备推理、理解和自我意识的AI系统。

回顾十年前，Ilya展示了当时的PPT，那时深度学习还处于探索阶段。他和团队提出了自回归模型、大型神经网络和大数据集的结合，这些元素现在已成为AI领域的基石。

Ilya强调了深度学习的核心假设：如果人类能在0.1秒内完成某项任务，那么一个训练良好的10层神经网络也能完成。这种假设推动了深度学习的发展。

自回归模型通过预测序列中的下一个token来捕捉整个序列的正确分布，奠定了现代语言模型的基础。

尽管有些技术如LSTM和并行化曾被寄予厚望，但随着Transformer等新模型的出现，它们逐渐被淘汰。Ilya认为，规模假设是深度学习成功的关键：拥有大模型和大数据集的组合将带来显著成果。

然而，Ilya也指出，随着计算能力的增长，数据增长已接近瓶颈。未来AI将面临数据限制，预训练时代也将逐步结束。

Ilya还讨论了“Agent”和“合成数据”概念，认为这些是突破预训练瓶颈的关键。Agent系统能自主推理和决策，合成数据可通过模拟环境创造新数据，弥补现实数据的不足。

Ilya认为，未来的AI系统不仅能执行任务，还将具备推理和决策能力，甚至可能具备某种形式的自我意识。这将是AI发展的质变，AI将成为具有独立智能的存在。