标题：OpenAI附议Ilya预训练终结！“但Scaling Law还没死”

在Ilya提出“预训练即将终结”的观点后，“Scaling Law”成为热议话题。在最近的NeurIPS会议上，OpenAI的大神Noam Brown表示，o1代表一种新的以推理计算为特点的Scaling方法。

Noam Brown指出，自2019年以来，GPT-2到GPT-4的惊人进步源于数据和算力规模的扩大。然而，大语言模型在解决如井字棋这类简单问题上仍显不足。这引发了疑问：“Scaling Law是否依然有效？”我们需要继续投入更多资源训练更好的AI吗？

Brown强调，在过去几年中，推理成本被低估了。o1引入了新的推理计算维度，这可能比单纯增加算力更为重要。例如，在扑克游戏中，增加模型的搜索时间而非单纯增加规模，可以显著提升性能。同样，在棋类游戏中，AlphaGo Zero通过推理时间搜索实现显著进步。

此外，Brown引用了关于游戏的Scaling Laws图表，表明推理时间的计算量可以大幅提高游戏结果。这是否意味着在大语言模型（LLMs）中，推理时间的计算量也能带来类似的效果？

尽管有人质疑推理时间计算并不新鲜，但Brown的观点引起了广泛关注。他认为，推理越多，系统越不可预测，这在未来AI发展中可能是一个关键因素。

这次研讨会吸引了众多观众，甚至有人在门外排队等候。尽管最初主题是数学AI，但讨论很快转向了大模型推理Scaling Law，显示了这一领域的热度与重要性。