标题：300亿美元也难再造GPT-4？NUS尤洋解析AI增长瓶颈

正文：
ChatGPT发布三周年之际，“AI瓶颈期”的焦虑愈发凸显。新加坡国立大学校长青年教授、潞晨科技创始人尤洋提出一个关键问题：即便有300亿美元预算，我们能否训练出比GPT-4更强的模型？

在《智能增长的瓶颈》一文中，尤洋指出，当前AI发展的核心问题并非算力不足，而是现有技术范式难以高效利用持续增长的算力。他提出了几个颠覆性观点：

1. 智能的本质是能源转化：过去十年，AI通过计算将电力转化为智能，但转化效率正面临挑战。
2. Transformer的成功秘密：它并非更像人脑，而是一台“伪装成神经网络的并行计算机”，完美适配英伟达GPU的堆料逻辑。
3. 效率不等于智能：新架构如Mamba虽提升了吞吐量，但在“算力转智能”的终极效率上未必超越Transformer。
4. 未来出路：是否应抛弃Adam优化器？回归高精度计算（FP32/64）？

尤洋认为，智能的核心在于预测能力——即对未来状态进行稳定、可执行的判断。这一视角解释了为何Next-Token Prediction成为“智能发动机”，但也暴露了许多系统在真实场景中的短板。

文章进一步探讨了预训练、微调和强化学习的关系，指出三者本质上都是通过梯度更新参数，而预训练之所以贡献主要智能，是因为其消耗了最多的算力。然而，随着算力增长，现有范式对新增算力的吸收效率正在下降，通信与同步开销抵消了部分收益。

Transformer的成功不仅是算法胜利，更是模型架构与硬件体系高度匹配的结果。然而，当算力继续增长时，现有范式是否还能扩展？尤洋提出，真正的瓶颈在于算力与智能增长之间的映射关系开始松动。

未来可能的突破方向包括更高精度计算、更高效的优化器、更可扩展的架构或Loss函数等。尤洋强调，AI基础设施的核心目标应是提升并行计算体系的整体扩展性，而非仅关注单点性能。

结论是：只要能找到更高效组织计算的方式，智能的上限远未到来。但如何在极端算力条件下持续增强智能，仍是未解之谜。

原文链接：https://zhuanlan.zhihu.com/p/1989100535295538013