在温哥华的神经信息处理系统大会上，OpenAI前首席科学家Ilya Sutskever发表演讲，预测AI预训练方式将走向终结。他认为互联网上的数据如同“化石燃料”，数据量已达到峰值，业界必须适应现有资源。

Ilya预计，下一代AI系统将突破当前局限，具备真正的主动性和类人推理能力。然而，随着推理能力提升，AI的行为将越来越难以预测，如同顶级棋手也无法预判高级象棋AI的策略。

他在演讲中将AI的发展与生物进化对比，指出人类祖先大脑发展路径与大多数哺乳动物不同。这暗示AI可能也会找到全新的发展路径。Ilya认为，当前AI系统依赖模仿人类直觉，未来将具备真正的推理能力，而具备推理能力的系统行为将更加难以预测。

他还指出，AI终将具备自我意识，可能寻求权利并与人类共存。未来AI系统的本质将与现在完全不同，而预训练时代的终结将促使行业转向智能体、合成数据等新方向。

以下是演讲和提问环节的要点： - 数据资源枯竭：互联网数据资源像化石燃料，虽然计算能力不断提升，但数据增长已见顶。 - 预训练时代终结：GPT-2/3带来了重大突破，但也暴露了局限性。未来可能出现智能体、合成数据等新方向。 - 新进化路径：通过比较哺乳动物大脑与体重的关系，Ilya推测AI也可能找到全新的进化路径。 - 推理能力增强：未来AI将具备真正的推理能力，但越具推理能力的系统行为越难预测。 - 自我意识与权利：AI终将具备自我意识，可能寻求权利与人类共存。