近日，有外媒报道，OpenAI 正在调整策略应对大模型改进速度放缓的问题。知名认知科学家Gary Marcus称，GPT正进入收益递减期。不仅仅是GPT，其他大模型也面临类似困境。

OpenAI 的新模型Orion在完成20%的训练后便达到GPT-4的水平，但整体提升幅度不如从前。这意味着GPT升级速度在减缓。此外，Orion在某些领域（如编码）的表现未必优于前代模型。OpenAI表示今年没有发布Orion的计划。

改进放缓的原因之一是可用预训练数据的减少。高质量训练数据变得稀缺，网站、书籍等公开文本已被耗尽。为应对这一问题，OpenAI成立基础团队，研究如何在数据有限的情况下改进模型。新策略包括利用AI生成的合成数据训练模型，以及在后期训练中进一步优化。

类似困境也出现在其他前沿实验室。有数据显示，一些实验室通过增加训练时间和数据量来寻求突破，但成效有限。数据质量成为关键，这需要时间积累。

麻省理工学院的研究表明，大模型虽然输出令人印象深刻，但缺乏连贯的世界理解能力。一旦任务环境变化，模型表现可能大幅下降。例如，在导航任务中，封闭部分街道会导致模型性能显著下降。

面对这些瓶颈，有人建议将LLM与Cyc（一个逻辑引擎和常识规则数据库）结合，以增强模型的理解能力。还有观点认为，人形机器人在现实世界中的数据可能对模型改进更有帮助。

总之，大模型改进速度放缓，需要新的方法和技术来突破现有局限。