标题：AI“规模暴力”真的失效了吗？

近期，关于Scaling Law的讨论不断。《The Information》文章指出，OpenAI的下一代旗舰模型Orion（或称GPT-5），在能力和成本方面未达到预期。Orion的代码能力甚至不如现有模型，且运行成本更高。为此，OpenAI不得不改变策略。

类似的情况也发生在Google和Anthropic。Google的Gemini模型未能达到预期，Anthropic暂停了Opus 3.5的开发。这引发了人们对Scaling Law是否失效的质疑。

Scaling Law，即尺度定律，由OpenAI在2020年提出，核心观点是模型性能与计算量、数据集大小和模型参数量存在幂律关系。若Scaling Law失效，意味着“更大更好”的理念可能不再适用。

正方观点认为Scaling Law神话终结。Ilya Sutskever表示，扩展训练结果趋于平稳，需寻找“正确”的规模。OpenAI和Google都在开发新技术以弥补传统训练方法的局限性。

反方观点则认为Scaling Law仍然有效。OpenAICEO Sam Altman表示，OpenAI将在今年晚些时候发布新版本。微软AI主管Mustafa Suleyman也认为规模仍是关键因素。微软CTO Kevin Scott、前谷歌CEO Eric Schmidt等也持相同观点。

此外，有研究提出新的精度缩放定律。哈佛大学等机构的研究表明，精度在模型扩展规律中更为重要。当模型规模固定时，需以更高精度进行训练，如16位。这可能导致从纯规模扩张向专用模型和人本应用的转变。

总之，尽管Scaling Law面临挑战，但仍有多种方法可提升模型性能。未来AI的发展仍充满希望。