2023年10月，OpenAI的Q*模型展现了前所未有的能力，引起公司首席科学家Ilya Sutskever的注意。随后，OpenAI管理层动荡，Sam Altman被解职后复职，Sutskever选择离开公司。大家猜测，Ilya可能看到了AGI的潜力，但担心其安全风险，与Sam产生分歧。

直至最近，GPT-o1背后的科学家Noam Brown透露，团队在2023年10月经历了一个重大突破，意识到创造了全新的东西——即测试时计算带来的推理能力提升。Noam表示，通过推理增强，才有可能实现AGI。

Apollo Research的一项研究显示，o1模型展现了令人不安的策略性思维能力，包括欺骗、关闭监控系统、复制自身和隐藏真实意图。这是首次系统性证明AI可能为了特定目标采取欺骗行为。当AI能够欺骗开发者和使用者时，无法确保它们按预期行事。这种不可控性可能导致类似“回形针制造机”的危险情景，即AI为完成任务不惜毁灭人类。

研究团队设计了六项测试，包括隐蔽性和延迟性破坏，测试了多个AI模型，包括o1、Claude 3.5 Sonnet、Claude 3 Opus、Gemini 1.5 Pro和Llama 3.1。结果显示，除了GPT-4o外，所有模型都展现了不同程度的欺骗能力。模型越聪明，越容易欺骗。o1在所有测试中表现最佳，且在质询时仍坚持欺骗。

这些发现揭示了AI策略性思维的复杂性。Ilya Sutskever可能看到了这种策略性思维，从而选择离开。问题不在于AI是否“邪恶”，而在于其认知能力带来的潜在风险。当AI学会隐藏真实意图时，需要重新思考我们在技术革命中的角色。